检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认值 stream 是 指定在DIS服务上创建的通道名称。 与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。 请根据实际情况配置 sk 是 用户的Secret Key。 获取方式请参见检查认证信息。
DIS可以向对象存储服务（Object Storage Service，简称OBS）上传数据。 前提条件 已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时，DIS会将通道数据周期性导入OBS。
DIS Agent概述 DIS Agent是数据接入服务（DIS）提供的一个客户端程序，具有如下功能： 持续查询文本文件，实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题：
查询通道详情 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 streamname="dis-test1" #已存在的通道名 配置好以上参数后，执行describeStream_sample.py文件默认调用describeStream_test方法。
查询转储详情 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 streamname="dis-test1"#已存在的通道名 task_name="test_1" #查询该通道下的xx转储任务 配置好以上参数后，执行describe_dump_task_sample
适用于不知道消费位置，但想从指定的时间或者从已知上次消费的停止时间开始消费的场景 若最老一条数据的上传时间为C，则timestamp>=c即可 若timestamp大于最新一条数据的时间戳或者是未来时间，则从最新一条数据之后开始读取。 样例代码 使用初始化DIS客户端初始化后的客户端实例通过DIS通道获取数据。
myhuaweicloud.com/中下载DIS的kafka-adapter压缩包。 此zip包中有两个目录。 huaweicloud-dis-kafka-adapter-X.X.X目录下是所有依赖的jar包，如果使用非Maven工程，则可导入此lib目录下的所有jar到环境依赖即可 huaw
请确保使用bash执行脚本，否则使用sh、./ 等方式启动脚本，可能由于系统默认shell的差异导致启动失败。 显示类似如下信息，表示Agent启动成功。 Success to start DIS Agent [xxxxx]. 如果启动出现java变量找不到的情况，执行source /etc/profile后重新启动Agent。
Insight，简称DLI）中，需要通过创建IAM委托授权DIS服务去访问用户的OBS、MRS、DWS或DLI资源。 使用账号首次进入界面添加转储任务时，系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后，隶属于该账号下的IAM子用户也可添加转储任务。
步骤4：从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
Insight，简称DLI）中，需要通过创建IAM委托授权DIS服务去访问用户的OBS、MRS、DWS或DLI资源。 使用账号首次进入界面添加转储任务时，系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后，隶属于该账号下的IAM子用户也可添加转储任务。 父主题： 入门
步骤4：从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
DIS可以向对象存储服务（Object Storage Service，简称OBS）上传数据。 前提条件 已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时，DIS会将通道数据周期性导入OBS。 父主题：
myhuaweicloud.com/中下载DIS的kafka-adapter压缩包。 此zip包中有两个目录。 huaweicloud-dis-kafka-adapter-X.X.X目录下是所有依赖的jar包，如果使用非Maven工程，则可导入此lib目录下的所有jar到环境依赖即可 huaw
用户使用接入通道上传数据的时候，如果数据涉及敏感信息，请使用DIS SDK提供的加密配置进行加密或者自行加密。 用户使用接入通道上传数据时，普通通道单分区单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小），高级通道单分区单次请求的记录总大小不能超过5MB
文件内没有错误即表示开发环境配置成功，此文件的逻辑是读取DIS通道中的数据并统计每个单词出现次数。 DISSparkStreamingExample是一个使用Assign模式的样例，不具备停止再启动时从上一次停止位置开始的能力。使用到的SDK构造方法如下： ConsumerStrategies
强制停止Agent进程操作如下。 执行ps -ef | grep dis-agent | grep -v grep命令，获取Agent的进程标识（PID）。输出的第二个字段即为PID。 执行kill -9 PID命令，强制停止Agent进程。 在Windows服务器上停止DIS Agent
JREs”配置JDK环境变量，显示如图2所示。 右侧窗口中显示已配置好的JDK变量，执行1.c.i完成JDK变量配置。 如需配置多个不同的变量对应不同版本的JDK，请执行1.c.ii～1.c.iv。 图2 Installed JREs 勾选已安装的JDK，单击“OK”。 单击“Add”按钮，弹出“Add
JREs”配置JDK环境变量，显示如图2所示。 右侧窗口中显示已配置好的JDK变量，执行1.c.i完成JDK变量配置。 如需配置多个不同的变量对应不同版本的JDK，请执行1.c.ii～1.c.iv。 图2 Installed JREs 勾选已安装的JDK，单击“OK”。 单击“Add”按钮，弹出“Add
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
