检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用DIS
创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint 变更分区数量 父主题： 使用SDK
使用DIS Spark Streaming下载数据 DIS Spark Streaming概述 准备DIS Spark Streaming的相关环境 自定义SparkStreaming作业 父主题： 使用DIS
参见自动开通云专线开通云专线，然后使用开通专线的云账号访问虚拟私有云VPC。 选择“VPC终端节点 > 终端节点”，单击“购买终端节点”。 “服务类别”选择“云服务”，并在服务中选择DIS服务的终端节点，例如华东-上海二为com.myhuaweicloud.cn-east-2.dis。然后选择专线所在的VPC和子网即可。
'last_transfer_timestamp': 1538018072564, 'destination_type': 'OBS', 'obs_destination_description': {'obs_bucket_path': '002', 'deliver_time_interval': 30
使用DIS Flume Plugin上传与下载数据 DIS Flume Plugin概述 安装DIS Flume Plugin前准备 安装Plugin 配置Plugin 验证Plugin 卸载Plugin(可选) 父主题： 使用DIS
int。 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。 创建通道 如下示例是创建通道最简单的配置。 Token认证，具体操作请参考Token认证。 发送“POST https:/
如表1所示，包括了DIS的所有系统权限。其中“依赖关系”表示该系统权限对其它权限的依赖。由于华为云各服务之间存在业务交互关系，数据接入服务的权限依赖其他服务的权限实现功能。因此给用户授予数据接入服务的权限时，需要同时授予依赖的权限，数据接入服务的权限才能生效。 表1 DIS系统权限 系统角色 策略类别 描述
终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。 DIS的终端节点Endpoint构造规则为dis.{region_id}.{域名}，您可以从地区和终端节点获取区域和终端节点信息。 父主题： 使用前必读
topic) 接口 支持 获取通道的分区信息 void flush(long timeout, TimeUnit unit) 接口 不支持 强制发送当前缓存数据，后续支持 Map<MetricName, ? extends Metric> metrics() 接口 不支持 获取统计信息 key
码。 对于获取用户Token接口，如果调用后返回状态码为“201”，则表示请求成功。 响应消息头 对应请求消息头，响应同样也有消息头，如“Content-type”。 对于获取用户Token接口，返回如图1所示的消息头，其中“x-subject-token”就是需要获取的用户To
topic) 接口 支持 获取通道的分区信息 void flush(long timeout, TimeUnit unit) 接口 不支持 强制发送当前缓存数据，后续支持 Map<MetricName, ? extends Metric> metrics() 接口 不支持 获取统计信息 key
什么是DIS？ 数据接入服务（Data Ingestion Service）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。
#已存在的通道名称 配置好以上参数后，执行deleteStream_sample.py文件默认调用deleteStream_test方法，获取响应204删除成功。 父主题： 使用SDK（Python）
户之间的权限隔离。 将DIS资源委托给更专业、高效的其他华为云账号或者云服务，这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用DIS服务的其它功能。 本章节为您介绍对用户授权的方法，操作流程如图1所示。
从通道内读取的用户记录数。 写入记录数 写入目标服务（如MRS)的记录数，例如通道内的一条用户记录可能转换为多条记录写入MRS服务的opentsdb。 转储文件名 转储到目标服务的文件名称。 从通道内读取的用户记录会写入文件后，再通过文件的形式转储到目标服务（如OBS、MRS） 记录数 用户转储日
String 用户Token。 通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 metrics Metrics object 数据对象。 metrics_list Array
在https://github.com/huaweicloud/huaweicloud-sdk-java-dis中下载DIS的Java SDK压缩包。 获取DIS SDK软件包及校验文件后，需要对软件包的完整性进行校验，参考如何校验软件包完整性？。 父主题： 相关资源
metadata="" #用户消费程序端的元数据信息，元数据信息的最大长度为1000个字符 partitionId可通过查询通道详情获取，需要先传入当前设置的通道名称。 配置好以上参数，执行commitCheckpoint_sample.py文件调用commitCheckp
= "" #可设置为空，或是已存在的通道名 执行listStream_sample.py文件默认调用listStream_test方法，获取响应200查询成功。 通道列表的返回信息示例如下： 1 2 200 {'stream_names': ['dis-jLGp', 'dis-w_p'
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
