检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题： 使用DIS
查询Checkpoint 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 3 streamname = "" #通道名称 appName="xx" # APP名称（APP是已存在状态） partitionId="shardId-0000000000"
id必须唯一，如果不配置client.id, dis kafka consumer会生成一个uuid作为client.id。 key.deserializer 参数 支持 含义与kafka设置相同，但默认值为StringDeserializer (kafka必须配置)。 value.deserializer
id必须唯一，如果不配置client.id, dis kafka consumer会生成一个uuid作为client.id。 key.deserializer 参数 支持 含义与kafka设置相同，但默认值为StringDeserializer (kafka必须配置)。 value.deserializer
用户数据先临时存储在OBS桶中，再转储到指定的转储服务，转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中，转储完成后临时目录中的数据会被清除。 配置为空时，数据直接存储在OBS桶内。 - 容错选项 通过单击或来关闭或开启容错选项开关。 fill_missing_fields
使用DIS Flume Plugin上传与下载数据 DIS Flume Plugin概述 安装DIS Flume Plugin前准备 安装Plugin 配置Plugin 验证Plugin 卸载Plugin(可选) 父主题： 使用DIS
使用SDK（Python） 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情
查询通道详情 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 streamname="dis-test1" #已存在的通道名 配置好以上参数后，执行describeStream_sample.py文件默认调用describeStream_test方法。
新增Checkpoint 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 3 4 5 streamname = "" #通道名称 appName="xx" # APP名称（APP是已存在状态） partitionId="shardId-0000000000"
使用DIS 检查与配置DNS信息 使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink
使用SDK（Java） 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 streamname="dis-test1"#已存在的通道名 task_name="test_1" #查询该通道下的xx转储任务 配置好以上参数后，执行describe_dump_task_sample
符。 默认配置为空。 retry_duration 否 String 用户数据导入DLI失败的失效重试时间。重试时间超过该配置项配置的值，则将转储失败的数据备份至“OBS桶/ file_prefix/dli_error”目录下。取值范围：0~7200。单位：秒。默认配置为1800
SDK创建Checkpoint，需要指定通道名称、APP名称、分区编号、序列号以及Checkpoint类型。 其中，“streamName”的配置值要与开通DIS通道中“Stream Name”的值一致。 1 2 3 4 5 6 7 8 9 10 11 12 13 //
方法中的（limit可设置单次请求返回APP列表的最大数量取值范围：1~100）。 配置参数如下： 1 startAppName="app1" #APP名称（从该通道开始返回app列表，返回的app列表不包括此app名称。） 配置好以上参数，执行listApp_sample.py文件调用Applist_test方法。
Json格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下：
下载流式数据 Json格式下载 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 3 streamname = "" #通道名称 startSeq='0’ #序列号 partitionId="shardId-0000000000"
16 17 18 19 20 21 //需配置转储任务的全量参数，不支持更新单个参数 UpdateTransferTaskRequest request = new UpdateTransferTaskRequest(); // 配置待更新的转储任务所属通道的名称 request
图解数据接入服务DIS
附录 错误码 状态码 获取项目ID 介绍如何在控制台或者调用API获取项目ID。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
