检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是DIS？ 数据接入服务（Data Ingestion Service）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略，在创建DISKafkaConsumer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。 自动提交策略由消费者协调器（Coordinator）每隔${auto.commit.interval
查看通道监控信息 用户可以通过控制台查看通道的监控信息，支持按照App维度监控App在通道中消费的数据信息。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看监控信息的通道名称，进入监控页面。 根据实际情况在
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题： 使用DIS
SDK下载 在https://github.com/huaweicloud/huaweicloud-sdk-java-dis中下载DIS的Java SDK压缩包。 获取DIS SDK软件包及校验文件后，需要对软件包的完整性进行校验，参考如何校验软件包完整性？。 父主题： 相关资源
批量添加资源标签 功能介绍 该接口用于批量添加资源（通道等）标签。此接口为幂等接口：创建时如果请求体中存在重复key则报错。创建时，不允许设置重复key数据，如果数据库已存在该key，就覆盖value的值。 调用方法 请参见如何调用API。 URI POST /v2/{proje
查询分区监控 功能介绍 本接口用于查询通道指定分区的监控数据。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/partitions/{partition_id}/metrics 表1 路径参数 参数
步骤3：发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务（Object Storage Service，简称OBS）MapReduce服务（MapReduce Service,简称MRS）、数据仓库服务（Data
使用SDK（Java） 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint
终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。 DIS的终端节点Endpoint构造规则为dis.{region_id}.{域名}，您可以从地区和终端节点获取区域和终端节点信息。 父主题： 使用前必读
步骤2：准备DIS应用开发环境 用户开发DIS应用程序前，首先需要安装和配置应用开发环境。获取SDK和样例工程，并导入到用户的开发环境中。 前提条件 JDK(1.8版本或以上版本)工具已安装成功。 Eclipse工具已安装成功。 操作步骤 Eclipse中配置JDK。 打开Eclipse工具，选择“Window
创建消费App 功能介绍 本接口用于创建消费APP。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/apps 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 请求参数 表2 请求Header参数
查询通道监控 功能介绍 本接口用于查询指定通道的监控数据。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/metrics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
获取数据游标 功能介绍 本接口用于获取数据游标。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/cursors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选
删除App 功能介绍 本接口用于删除App。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/apps/{app_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 app_name
删除Checkpoint 功能介绍 本接口用于删除Checkpoint。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
修改分区数量 功能介绍 本接口用于变更指定通道中的分区数量。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/streams/{stream_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
更新通道信息 功能介绍 本接口用于更新指定通道的通道信息。 调用方法 请参见如何调用API。 URI PUT /v3/{project_id}/streams/{stream_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
管理源数据Schema 源数据Schema，即用户的JSON或CSV数据样例，用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet或CarbonData格式。 创建源数据Schema有如下三个入口：
什么是分区？ 分区（Partition）是DIS数据通道的基本吞吐量单位。创建通道时，将指定所需的分区数量。 普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
