检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Stream”通道的监控。有数据上传,表示DIS服务接收正常,Agent安装成功。 Windows服务器上验证DIS Agent 使用文件管理器进入“logs”目录。 使用编辑器打开“dis-agent.log”文件查看日志。 显示如下信息,表示Agent正常运行。 Agent:
输出到日志。 ERROR:每次接口调用的结果以ERROR级别输出到日志。 INFO Windows服务器上配置DIS Agent 使用文件管理器进入安装包解压后的目录,例如“C:\dis-agent-X.X.X”。 使用编辑器打开“agent.yml”文件,根据实际情况修改各配置项的值并保存。
E上测试,目的是了解sdk基本使用方法。测试完成后用户可自行创建集群(如MRS集群)并提交作业验证。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 参考步骤1:开通DIS通道申请开通DIS通道,并持续上传数据到新创建的DIS通道。本次范例上传的内容为hello
account error. 内置租户账号异常 请联系技术支持。 500 DIS.5601 Service op svc account error. 管理租户账号异常 请联系技术支持。 500 DIS.5750 IAM error. 服务内部调用IAM服务异常 请联系技术支持。 500 DIS
初始化DIS客户端 您可以使用以下两种方法初始化DIS SDK客户端实例,优先选择使用代码进行初始化。其中,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参考获取认证信息。 使用代码初始化DIS SDK客户端实例。 1 2 3 4
DIS有哪些特点和优势? 无限扩展:DIS数据通道的吞吐量每小时可从数MB扩展到数TB,PUT记录每秒钟可从数千次扩展到数百万。 易于使用:您可以在几秒钟内创建DIS数据通道,轻松地将数据放入通道中,并构建用于数据处理的应用程序。 成本低廉:DIS没有前期成本,您只需要为实际使用的资源付费即可。
上传流式数据 样例代码 使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。
数据下载的消费模式 同Kafka类似,当前dis kafka adapter支持三种消费模式。 assign模式 由用户手动指定consumer实例消费哪些具体分区,此时不会拥有group management机制,也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生。代码样例如下所示:
数据下载的消费模式 同Kafka类似,当前dis kafka adapter支持三种消费模式。 assign模式 由用户手动指定consumer实例消费哪些具体分区,此时不会拥有group management机制,也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生。代码样例如下所示:
上传数据 代码样例 “ak”、“sk”和“projectId”信息的获取请参见检查认证信息。 package com.huaweicloud.dis.demo.adapter; import com.huaweicloud.dis.DISConfig; import com.huaweicloud
上传数据 代码样例 “ak”、“sk”和“projectId”信息的获取请参见检查认证信息。 package com.huaweicloud.dis.demo.adapter; import com.huaweicloud.dis.DISConfig; import com.huaweicloud
下载流式数据 背景信息 下载流式数据,需要确定从分区的什么位置开始获取(即获取游标)。确定起始位置后,再循环获取数据。 获取游标有如下五种方式: AT_SEQUENCE_NUMBER AFTER_SEQUENCE_NUMBER TRIM_HORIZON LATEST AT_TIMESTAMP
错误码 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 更多服务错误码请参见API错误中心。 状态码 错误码 错误信息 描述 处理措施 400 DIS.4117 Invalid Project Id. %s 用户传入的projectId无效