检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“源数据类型”选择“BLOB”，则支持的“转储服务类型”为“OBS”、“MRS”。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。“源数据类型”选择“JSON”，则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”和“DWS”。
使用DIS Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin
Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用SDK
使用DIS Flume Plugin上传与下载数据 DIS Flume Plugin概述 安装DIS Flume Plugin前准备 安装Plugin 配置Plugin 验证Plugin 卸载Plugin(可选) 父主题： 使用DIS
Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用DIS
读取通道数据时，如何区分不同类型数据？ 不同类型的消息使用不同的通道； 使用同一个通道的不同分区。上传消息时，不同类型的消息指定不同的partition_key，消费时根据partition_key来区分不同类型消息。 父主题： 转储相关问题
连接OBS 介绍 DIS可以向对象存储服务（Object Storage Service，简称OBS）上传数据。 前提条件 已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时，DIS会将通道数据周期性导入OBS。
在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 获取区域和Endpoint信息 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。DIS的终端节点Endpoint构造规则为dis
Empty ServiceName header. 请求头里的签名信息Authorization字段中缺失服务名 请检查请求头里的Authorization字段中是否包含服务名dis。 441 DIS.4109 The Authorization header must contain
SDK提供的接口函数进行二次开发。 章节 内容 DIS SDK能做什么 内容导航 简要介绍DIS的概念和DIS SDK的概念。 SDK下载 兼容性 如何校验软件包完整性？ 介绍使用DIS SDK进行二次开发过程中涉及到的资源信息。 开通DIS服务 介绍DIS服务和DIS通道的开通方式。
建主题，具体请参见《消息通知服务用户指南》中的“创建主题”章节。 在创建的主题行，单击“更多 > 设置主题策略”，“可发布消息的服务”处勾选“DIS”，使消息通知服务发布DIS消息。 在创建的主题行，单击“添加订阅”，向该主题添加订阅，具体请参见《消息通知服务用户指南》中的“添加订阅”章节。
数据接入服务软件开发工具包（DIS SDK，Data Ingestion Service Software Development Kit）是对DIS服务提供的REST API进行的封装，以简化用户的开发工作。用户直接调用DIS SDK提供的接口函数即可实现使用DIS服务业务能力的目的。
</dependency> 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源，每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。
</dependency> 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源，每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。
resultLogLevel 否 每次调用DIS数据发送接口后的结果日志级别。 OFF：日志中不输出每次接口调用的结果。 INFO：每次接口调用的结果以INFO级别输出到日志。 WARN：每次接口调用的结果以WARN级别输出到日志。 ERROR：每次接口调用的结果以ERROR级别输出到日志。 INFO
确认有通道用于数据上传且通道状态为“运行中”。 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源，每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。
什么是分区？ 分区（Partition）是DIS数据通道的基本吞吐量单位。创建通道时，将指定所需的分区数量。 普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不
与原生KafkaProducer接口适配说明 DISKafkaProducer的实现与KafkaProducer的实现不同，DISKafkaProducer的客户端与服务端通过Rest API实现，而KafkaProducer是基于TCP协议实现，在接口兼容上有如下差异。 表1 适配说明
与原生KafkaProducer接口适配说明 DISKafkaProducer的实现与KafkaProducer的实现不同，DISKafkaProducer的客户端与服务端通过Rest API实现，而KafkaProducer是基于TCP协议实现，在接口兼容上有如下差异。 表1 适配说明
IDEA构建工程，完成之后会显示目录与文件 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 您可以通过如下方式获取访问密钥。 登录控制台，在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面，选择“访问密钥 >
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
