检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Lake Insight，简称DLI），具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器，存储在DIS中的数据最长保留时间为3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.
Lake Insight，简称DLI），具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器，存储在DIS中的数据最长保留时间为步骤 3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X
mat"生成对应的转储时间目录。将源数据的时间戳使用“yyyy/MM/dd/HH/mm”格式生成分区字符串，用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter 否 String 转储文件的记录分隔符，用于分隔写入转储文件的用户数据。 取值范围：
setTransferTaskName(taskName); // 转储至对象存储服务(简称OBS)：OBS桶名和子文件夹名，通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis"); descriptor.setFilePrefix("transfertask");
DIS Agent概述 DIS Agent是数据接入服务（DIS）提供的一个客户端程序，具有如下功能： 持续查询文本文件，实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题：
终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。 DIS的终端节点Endpoint构造规则为dis.{region_id}.{域名}，您可以从地区和终端节点获取区域和终端节点信息。 父主题： 使用前必读
应用程序运行实时分析，让其他应用程序从同一个DIS数据通道中将数据发送至对象存储服务（Object Storage Service，简称OBS）。 安全可靠：DIS可将数据保留N*24小时，N的取值为1~7的整数，以防数据在应用程序故障、个别机器故障或设施故障时丢失。 父主题： 一般性问题
配置转储任务所属的通道名称 request.setStreamName(streamName); // 配置待删除的转储任务名称 request.setTransferTaskName(taskName); 配置“DeleteTransferTaskRequest”对象之后，通过调
删除通道 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 使用DIS SDK删除指定的DIS通道。 1 2 3 4 //待删除的通道名称 String streamName = "myStream"; DeleteStreamRequest deleteStreamRequest
存储在DIS中的数据保留的最长时间，超过此时长数据将被清除。 取值范围：24~72的整数。 24 源数据类型 BLOB：存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”，则支持的“转储服务类型”为“OBS”、“MRS”。 JSON：一种开放的文件格式，以易读的文字为
// 通道的分片数量 createStreamRequest.setPartitionCount(3); // 通道数据的保留时长: 单位小时，N*24，N的取值为1~7的整数 createStreamRequest.setDataDuration(24); // 通道的源数据类型：缺省值：BLOB
参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 使用DIS SDK创建Checkpoint，需要指定通道名称、APP名称、分区编号、序列号以及Checkpoint类型。 其中，“streamName”的配置值要与开通DIS通道中“Stream Name”的值一致。
key=obs_dump_task,value=['text','obs-1253', '','yyyy', '|']) # 添加OBS转储服务,配置obs_Schema值 cli.add_dump_task(streamname, task_name,'OBS',obs_Schema)
在有些场景可能对消费偏移量有更精确的管理，以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理，或者用于其他网络访问请求等等复杂的业务处理，在这种场景下，所有的业务处理完成后才认为消息被成功消费，此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下：
用户在密钥管理服务（简称KMS）创建的用户主密钥名称，用于加密存储DWS数据库的密码。 kms_user_key_id 是 String 用户在密钥管理服务（简称KMS）创建的用户主密钥ID，用于加密存储DWS数据库的密码。 obs_bucket_path 是 String 临时存储该通道数据的OBS桶名称。
在https://dis-publish.obs-website.cn-north-1.myhuaweicloud.com/中下载DIS的kafka-adapter压缩包。 此zip包中有两个目录。 huaweicloud-dis-kafka-adapter-X.X.X目录下是所有依赖的jar包，如果使用
Key的记录会分配到同一个分区。此配置项可设置每条记录的PartitionKey值，取值如下： RANDOM_INT：PartitionKey的值为随机数字的字符串，记录均匀分布在每个分区。 FILE_NAME：PartitionKey的值为文件名称字符串，记录分布在特定的一个分区中。
数据临时桶 用户数据先临时存储在OBS桶中，再转储到指定的转储服务，转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中，转储完成后临时目录中的数据会被清除。 配置为空时，数据直接存储在OBS桶内。 - 源数据类型JSON/CSV==>转储文件格式Parquet
配额说明 创建通道应用的基础设施如下： 普通通道分区 高级通道分区 创建IoT实例应用的基础设施如下： 弹性云服务器 虚拟私有云VPC 弹性负载均衡ELB 弹性公网IP 其配额查看及修改请参见关于配额。
查询转储列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 streamname="XXX" #已存在的通道名 执行list_dump_task_sample.py文件默认调用list_dump_task_test方法，获取响应200查询成功。 响应示例如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
