检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"xxxxxxxxxxxxxxxxxx" } } } } 获取Token后,再调用其他接口时(以数据开发组件的“查询连接列表”接口为例),您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ....
并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目,这个项目由系统预置,用来
monitoring period. 查询监控信息的startTime无效 请传入有效的时间戳。 400 DIS.4204 The monitoring period cannot be longer than 7 days. 仅允许查询最近7天内的监控信息 请查询最近7天内的监控信息。 400
“Import Maven Projects”页面。 单击“Browse”按钮,根据实际情况选择“dis-sdk-demo”样例工程的存储位置,勾选样例工程,如图5所示。 图5 Import Maven Projects 单击“Finish”完成项目导入。 配置Demo工程。 配置项目编码为“UTF-8”。
DIS Agent概述 DIS Agent是数据接入服务(DIS)提供的一个客户端程序,具有如下功能: 持续查询文本文件,实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题:
#序列号 metadata="" #用户消费程序端的元数据信息,元数据信息的最大长度为1000个字符 partitionId可通过查询通道详情获取,需要先传入当前设置的通道名称。 配置好以上参数,执行commitCheckpoint_sample.py文件调用commit
“Import Maven Projects”页面。 单击“Browse”按钮,根据实际情况选择“dis-sdk-demo”样例工程的存储位置,勾选样例工程,如图5所示。 图5 Import Maven Projects 单击“Finish”完成项目导入。 配置Demo工程。 配置项目编码为“UTF-8”。
添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情 查询APP列表 新增Checkpoint 查询Checkpoint 变更分区数量
monitoring period. %s 查询监控信息的startTime无效 请传入有效的时间戳。 400 DIS.4204 The monitoring period cannot be longer than 7 days. 仅允许查询最近7天内的监控信息 请查询最近7天内的监控信息。 400
初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint 变更分区数量 父主题: 使用SDK
选择授权模式,再在“被授权用户”文本框中,设置用户信息。 支持通配符"*",表示授权所有账号; 支持添加多账号,用","隔开 支持授权某账号下的特定用户,输入账号名,单击"查询用户"按钮,选择用户。 图1 添加权限 父主题: 管理通道
2019-05-07 第十七次正式发布: 查询通道列表SDK增加分页功能说明,修改查询通道列表。 2019-04-16 第十六次正式发布: 查询通道列表SDK增加响应参数说明,修改查询通道列表。 2019-03-18 第十五次正式发布: 新增如下内容: 添加转储任务~~查询转储详情 初始化DIS客户端
reset 参数 支持 同Kafka的默认配置,默认为latest。 此值用于没有初始偏移量或者偏移量不正确的情况下,自动设置offset位置: earliest 将偏移量自动重置为最旧的值; latest将偏移量自动重置为最新的值; none 如果在消费者组中没有发现前一个偏移量,就向消费者抛出一个异常;
reset 参数 支持 同Kafka的默认配置,默认为latest。 此值用于没有初始偏移量或者偏移量不正确的情况下,自动设置offset位置: earliest 将偏移量自动重置为最旧的值; latest将偏移量自动重置为最新的值; none 如果在消费者组中没有发现前一个偏移量,就向消费者抛出一个异常;
监控管理 查询通道监控 查询分区监控 父主题: API说明
中创建,可在“我的凭证 > 访问密钥”页面下载生成。 获取项目ID 项目ID表示租户的资源。用户可在“我的凭证 > > API凭证”页面下查看项目列表中不同Region对应的项目ID。 获取region和endpoint 请参见终端节点及区域说明。 父主题: 入门
√ x 查询通道列表 √ √ √ 查询通道详情 √ √ √ 查询通道监控信息 √ √ √ 查询分区监控信息 √ √ √ 获取通道消费信息 √ √ √ 变更分区数量 √ √ x 上传数据 √ x √ 获取数据游标 √ x √ 下载数据 √ x √ 创建APP √ √ √ 查询APP详情
中创建,可在“我的凭证 > 访问密钥”页面下载生成。 获取项目ID 项目ID表示租户的资源。用户可在“我的凭证 > > API凭证”页面下查看项目列表中不同Region对应的项目ID。 获取region和endpoint 请参见终端节点及区域说明。
确认Logstash已安装并能正常运行。 确认使用的Java版本为1.8.0及以上版本。执行如下命令查看Java版本。 java -version 确认使用的JRuby版本为9.0.0.0及以上版本。执行如下命令查看JRuby版本。 $ bin/jruby -v 检查DIS通道 使用注册账户登录DIS控制台。