检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
setProperty("auto.commit.interval.ms", "5000");// 设置偏移量提交时间间隔 手动提交 在有些场景可能对消费偏移量有更精确的管理，以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理，或者用于其他网络访问请求等等复杂的业务处理，
添加DWS转储任务 功能介绍 本接口用于添加DWS转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询转储任务详情 功能介绍 查询转储任务详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/transfer-tasks/{task_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
如何开通DIS通道？ 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数 参数解释 参数示例 计费模式 按需计费 按需计费 区域 指的是云服务所在的物理位置。您可以在下拉框中选择并切换区域。 华北-北京1
最大长度：60 partition_id 是 String 分区编号。可定义为如下两种样式：- shardId-0000000000- 0比如一个通道有三个分区，那么分区标识符分别为0, 1, 2，或者shardId-0000000000, shardId-0000000001, shardId-0000000002
添加MRS转储任务 功能介绍 本接口用于添加MRS转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
partition_id 是 String 通道的分区标识符。可定义为如下两种样式：- shardId-0000000000- 0比如一个通道有三个分区，那么分区标识符分别为0, 1, 2，或者shardId-0000000000, shardId-0000000001, shardId-0000000002
安装DIS Logstash Plugin前准备 检查依赖 确认Logstash已安装并能正常运行。 确认使用的Java版本为1.8.0及以上版本。执行如下命令查看Java版本。 java -version 确认使用的JRuby版本为9.0.0.0及以上版本。执行如下命令查看JRuby版本。
安装DIS Flume Plugin前准备 检查依赖 确认Flume已经安装并能正常运行。 确认Flume版本为1.4.0及以上版本。进入Flume安装目录，执行如下命令查看Flume版本。 $ bin/flume-ng version | grep Flume 确认使用的Java版本为1
步骤1：开通DIS通道 用户可以基于云管理平台Web界面开通DIS通道。 前提条件 使用DIS前需要注册公有云账户，再开通DIS。 操作步骤 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数
String 该Checkpoint所属的通道分区标识符。可定义为如下两种样式：- shardId-0000000000- 0比如一个通道有三个分区，那么分区标识符分别为0, 1, 2，或者shardId-0000000000, shardId-0000000001, shardId-0000000002
步骤1：开通DIS通道 用户可以基于云管理平台Web界面开通DIS通道。 前提条件 使用DIS前需要注册公有云账户，再开通DIS。 操作步骤 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数
添加DLI转储任务 功能介绍 本接口用于添加DLI转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
DIS有哪些特点和优势？ 无限扩展：DIS数据通道的吞吐量每小时可从数MB扩展到数TB，PUT记录每秒钟可从数千次扩展到数百万。 易于使用：您可以在几秒钟内创建DIS数据通道，轻松地将数据放入通道中，并构建用于数据处理的应用程序。 成本低廉：DIS没有前期成本，您只需要为实际使用的资源付费即可。
partition_id 否 String 通道的分区标识符。可定义为如下两种样式：- shardId-0000000000- 0比如一个通道有三个分区，那么分区标识符分别为0, 1, 2，或者shardId-0000000000, shardId-0000000001, shardId-0000000002
partition-id 是 String 通道的分区标识符。可定义为如下两种样式：- shardId-0000000000- 0比如一个通道有三个分区，那么分区标识符分别为0, 1, 2，或者shardId-0000000000, shardId-0000000001, shardId-0000000002
String 该Checkpoint所属的通道分区标识符。可定义为如下两种样式：- shardId-0000000000- 0比如一个通道有三个分区，那么分区标识符分别为0, 1, 2，或者shardId-0000000000, shardId-0000000001, shardId-0000000002
partition_id String 通道的分区标识符。可定义为如下两种样式：- shardId-0000000000- 0比如一个通道有三个分区，那么分区标识符分别为0, 1, 2，或者shardId-0000000000, shardId-0000000001, shardId-0000000002
）进行分组和隔离。Project可以是一个部门或者一个项目组。一个账户中可以创建多个Project。账户是租户对应的账号。一个Region有n个Project，但是一个Project只关联一个Region。不同项目中的DIS通道不可以相互连通。 Checkpoint：消费检查点。
步骤3：发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务（Object Storage Service，简称OBS）MapReduce服务（MapReduce Service,简称MRS）、数据仓库服务（Data
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
