检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用SDK 使用SDK(Java) 使用Kafka Adapter上传与下载数据 使用SDK(Python)
使用SDK(Java) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint
Window”,在新窗口打开此工程。 等待IntelliJ IDEA构建工程,完成之后会显示目录与文件 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
Window”,在新窗口打开此工程。 等待IntelliJ IDEA构建工程,完成之后会显示目录与文件 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
updatePartitionCountResult = dic.updatePartitionCount(update); LOGGER.info("Success to update partition count, {}", updatePartitionCountResult); } catch
Validating logstash-input-dis Installing logstash-input-dis Installation successful 安装logstash-output-dis 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。
endpoint => "https://dis.${region}.myhuaweicloud.com" ak => "YOUR_ACCESS_KEY_ID" sk => "YOUR_SECRET_KEY_ID" region => "YOUR_Region"
在左侧列表栏中选择“通道管理”。 确认有通道用于数据上传且通道状态为“运行中”。 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源,每个Region都有一个唯
bash install.sh uninstall 出现类似如下提示,表示卸载成功。 Uninstall dis-flume-plugin successfully. 父主题: 使用DIS Flume Plugin上传与下载数据
钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再
–p ${LOGSTASH_HOME} 出现类似如下提示,表示卸载成功。 Uninstall dis-logstash-plugins successfully. 父主题: 使用DIS Logstash Plugin上传与下载数据
d/dis-flume-plugin”目录下,安装完成后,显示类似如下内容,表示安装成功。 Install dis-flume-plugin successfully. 父主题: 使用DIS Flume Plugin上传与下载数据
dis05_stream_put_requests_succeed 上传请求成功数 该指标用于统计指定时间范围内,通道上传请求成功次数。 单位:Count/s。 ≥ 0 Count/s 通道 1分钟 dis06_stream_get_requests_succeed 下载请求成功数 该指标用于统计指定时间范围内,通道下载请求成功次数。
${LOGSTASH_HOME} 安装完成后,显示类似如下内容,表示安装成功。 Install dis-logstash-plugins successfully. 父主题: 使用DIS Logstash Plugin上传与下载数据
钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再
dissource.streams = YOU_DIS_STREAM_NAME agent.sources.dissource.ak = YOU_ACCESS_KEY_ID agent.sources.dissource.sk = YOU_SECRET_KEY_ID agent.sources
行匹配。 “/tmp/*.log”表示匹配“/tmp”目录下所有以“.log”结尾的文件。 “/tmp/access-*.log”表示匹配“/tmp”目录下所有以“access-”开头,以“.log”结尾的文件。 Windows上路径范例为“D:\logs\*.log”。 请根据实际情况配置
[xxxxx]..... 显示类似如下内容,表示Agent进程已停止。 Stopping Agent [xxxxx]............. Successfully. 强制停止Agent进程操作如下。 执行ps -ef | grep dis-agent | grep -v grep命令,
请确保使用bash执行脚本,否则使用sh、./ 等方式启动脚本,可能由于系统默认shell的差异导致启动失败。 显示类似如下信息,表示Agent启动成功。 Success to start DIS Agent [xxxxx]. 如果启动出现java变量找不到的情况,执行source /etc/profile后重新启动Agent。
sdk.demo.ConsumerDemo - Get stream streamName[partitionId=0] cursor success : eyJnZXRJdGVyYXRvclBhcmFtIjp7InN0cmVhbS1uYW1lIjoiZGlzLTEzbW9uZXki