检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计费项信息 计费项 计费说明 消息数量 用户上传至DIS通道的消息数量，下载不计入消息数量。单条消息计量不超过25KB，即用户每次上传的单条数据超过25KB是按多条消息计算，不足25KB时，按单条消息计算。 说明： 只有DIS普通通道涉及此计费因子，高级通道不按消息数量收费，只根据使用分区时长计费。
支持的监控指标 功能说明 本节定义了数据接入服务上报云监控的监控指标的命名空间，监控指标列表和维度，用户可以通过云监控检索数据接入服务产生的监控指标和告警信息。 命名空间 SYS.DAYU 监控指标 DIS通道支持的监控指标如表1所示。 表1 DIS的监控指标 指标ID 指标名称
申请CloudTable集群 在CloudTable中创建数据表 申请DIS通道 添加转储任务 获取认证信息 准备DIS应用开发环境 编写发送数据到DIS的应用程序 启动数据上传程序 在CloudTable中查看上传数据 CloudTable查询指定车辆位置 申请CloudTable集群
String 需要上传的数据。 上传的数据为序列化之后的二进制数据（Base64编码后的字符串）。 比如需要上传字符串“data”，“data”经过Base64编码之后是“ZGF0YQ==”。 explicit_hash_key 否 String 用于明确数据需要写入分区的哈希值，
on_key。 sequence_number String 该条数据的序列号。 data String 下载的数据。 下载的数据为序列化之后的二进制数据（Base64编码后的字符串）。 比如下载数据接口返回的数据是“ZGF0YQ==”，“ZGF0YQ==”经过Base64解码之后是“data”。
录开始读取。例如，某租户使用DIS的通道，分别上传了三条数据A1，A2，A3。N天后（设定A1已过期，A2和A3仍在有效期范围内），该租户需要下载此三条数据，并选择了TRIM_HORIZON这种下载方式。那么用户可下载的数据将从A2开始读取。- LATEST：从分区中的最新记录开
K, V> record) 接口 支持 发送单条数据 Future<RecordMetadata> send(ProducerRecord<K, V> record, Callback callback) 接口 支持 发送单条数据并设置回调处理函数 void close() 接口
响应Body参数 参数 参数类型 描述 metrics Metrics object 数据对象。 表5 Metrics 参数 参数类型 描述 dataPoints Array of DataPoint objects 监控数据。 label String 监控指标。 表6 DataPoint 参数
状态码是每次API请求响应的HTTPS状态码，表示本次HTTPS请求服务器返回的状态。 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端，它的部分请求已经被服务器接收，且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。
Metrics object 数据对象。 metrics_list Array of Metrics objects 监控数据对象列表。 表5 Metrics 参数 参数类型 描述 dataPoints Array of DataPoint objects 监控数据。 label String
读取通道数据时，如何区分不同类型数据？ 不同类型的消息使用不同的通道； 使用同一个通道的不同分区。上传消息时，不同类型的消息指定不同的partition_key，消费时根据partition_key来区分不同类型消息。 父主题： 转储相关问题
K, V> record) 接口 支持 发送单条数据 Future<RecordMetadata> send(ProducerRecord<K, V> record, Callback callback) 接口 支持 发送单条数据并设置回调处理函数 void close() 接口
数据管理 上传数据 下载数据 获取数据游标 父主题： API说明
数据下载的消费模式 同Kafka类似，当前dis kafka adapter支持三种消费模式。 assign模式 由用户手动指定consumer实例消费哪些具体分区，此时不会拥有group management机制，也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生。代码样例如下所示：
commitSync()是同步提交，会阻塞线程直到提交消费偏移量执行结果返回。 另外还可以精细的控制对具体分区具体offset数据的确认，确认的offset为已接受数据最大offset+1。例如消费一批数据，最后一条的offset为100，则此时需要commit 101，这样下次消费就会从101开始，不会重复。代码样例如下：
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题： 使用DIS
步骤4：从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
数据下载的消费模式 同Kafka类似，当前dis kafka adapter支持三种消费模式。 assign模式 由用户手动指定consumer实例消费哪些具体分区，此时不会拥有group management机制，也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生。代码样例如下所示：
管理源数据Schema 源数据Schema，即用户的JSON或CSV数据样例，用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet或CarbonData格式。 创建源数据Schema有如下三个入口：
commitSync()是同步提交，会阻塞线程直到提交消费偏移量执行结果返回。 另外还可以精细的控制对具体分区具体offset数据的确认，确认的offset为已接受数据最大offset+1。例如消费一批数据，最后一条的offset为100，则此时需要commit 101，这样下次消费就会从101开始，不会重复。代码样例如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
