检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据块是您的数据生产者添加到数据通道的重要数据。数据块的最大尺寸（Base64编码前的数据有效载荷）是1MB。 序列号：序列号是每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecord操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随
在“SMN主题”下拉框中，选择合适的消息通知主题。 用户可以根据需要，通过以下操作新建消息通知主题。 单击“去创建SMN主题”，系统将跳转到消息通知服务的“主题”页面，用户可通过单击页面右上方的“创建主题”来新建主题，具体请参见《消息通知服务用户指南》中的“创建主题”章节。 在创建的主题行，单击“更多
通专线的云账号访问虚拟私有云VPC。 选择“VPC终端节点 > 终端节点”，单击“购买终端节点”。 “服务类别”选择“云服务”，并在服务中选择DIS服务的终端节点，例如华东-上海二为com.myhuaweicloud.cn-east-2.dis。然后选择专线所在的VPC和子网即可。
用户数据的字段分隔符，根据此分隔符分隔用户数据插入DWS数据表的相应列。 取值范围：“，”、“；”和“|”三种字符中的一个。 user_name 是 String 存储该通道数据的DWS数据库的用户名。 user_password 是 String 存储该通道数据的DWS数据库的密码。 kms_user_key_name
说明： 仅支持数据位置为DLI的表，且用户需具有该表的插入权限。 obs_bucket_path 是 String 临时存储该通道数据的OBS桶名称。 file_prefix 否 String 临时存储该通道数据的OBS桶下的自定义目录，多级目录可用“/”进行分隔，不可以“/”开头。
使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。 批量上传流式数据的主体代码如下：
mrs_cluster_id 是 String 存储该通道数据的MRS集群ID。 mrs_hdfs_path 是 String 存储该通道数据的MRS集群的HDFS路径。 file_prefix 否 String 临时存储该通道数据的OBS桶下的自定义目录，多级目录可用“/”进行分隔，不可以“/”开头。
19 20 21 //需配置转储任务的全量参数，不支持更新单个参数 UpdateTransferTaskRequest request = new UpdateTransferTaskRequest(); // 配置待更新的转储任务所属通道的名称 request.setStreamName(streamName);
Adapter上传与下载数据。 2019-10-08 第二十三次正式发布： 优化Java和Python SDK。 2019-07-08 第二十次正式发布： 小文件功能下线，删除“创建源数据类型是FILE的通道”。 2019-07-03 第十九次正式发布： Java SDK不兼容原生Kafka客户端，删除“连接Kafka
通道创建成功后，您可以在通道列表和通道基本信息页面查看通道关联的企业项目。用户只能查询到有访问权限的项目下的通道资源。 在通道管理页面的列表中，查看通道所属的企业项目。 图1 查看企业项目 在通道列表中，单击通道名称，进入通道“基本信息”页面，可以查看与通道关联的企业项目。单击企业项目的
适用于不知道消费位置，但想从指定的时间或者从已知上次消费的停止时间开始消费的场景 若最老一条数据的上传时间为C，则timestamp>=c即可 若timestamp大于最新一条数据的时间戳或者是未来时间，则从最新一条数据之后开始读取。 样例代码 使用初始化DIS客户端初始化后的客户端实例通过DIS通道获取数据。
为DLI类型的数据表，且用户需具有该表的插入权限。 此配置项仅支持选择，不可手动输入。 配置此项必须已配置“DLI 数据库”。 偏移量 最新：最大偏移量，即获取最新的有效数据。 最早：最小偏移量，即读取最早的有效数据。 最新 数据转储周期 根据用户配置的时间，周期性的将数据导入目
on_key。 sequence_number String 该条数据的序列号。 data String 下载的数据。 下载的数据为序列化之后的二进制数据（Base64编码后的字符串）。 比如下载数据接口返回的数据是“ZGF0YQ==”，“ZGF0YQ==”经过Base64解码之后是“data”。
mber定义的序列号）所在的记录开始读取数据。此类型为默认游标类型。- AFTER_SEQUENCE_NUMBER：从特定序列号（即starting-sequence-number定义的序列号）后的记录开始读取数据。- TRIM_HORIZON：从最早被存储至分区的有效记录开始读
默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中，再转储到指定的转储服务，转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中，转储完成后临时目录中的数据会被清除。 配置为空时，数据直接存储在OBS桶内。 - 源数据类
String 需要变更分区数量的通道名称。 最大长度：64 target_partition_count 是 Integer 变更的目标分区数量。 取值为大于0的整数。 设置的值大于当前分区数量表示扩容，小于当前分区数量表示缩容。 注意： 每个通道在一小时内扩容和缩容总次数最多5次，且一
通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 表3 请求Body参数 参数 是否必选 参数类型 描述 app_name 是 String APP的名称，用户数据消费程序的唯一标识符。 应用名称由字母、数字、下划线和中划线组成，长度为1～200个字符。 最小长度：1 最大长度：200
ProcessingSchema object 根据源数据的时间戳和已配置的"partition_format"生成对应的转储时间目录。将源数据的时间戳使用“yyyy/MM/dd/HH/mm”格式生成分区字符串，用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter
用户名 DWS集群的用户名。 - 密码 DWS集群的密码。 - KMS密钥 集群的数据库加密密钥。 - 数据临时桶 用户数据先临时存储在OBS桶中，再转储到指定的转储服务，转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中，转储完成后临时目录中的数据会被清除。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
