检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源，每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 父主题： 使用DIS Flink Connector上传与下载数据
卸载Plugin(可选) 操作步骤 使用PuTTY工具远程登录Flume所在服务器。 停止Flume程序。 进入DIS Flume Plugin插件所在的目录。 cd ${FLUME_HOME} cd dis-flume-plugin 卸载DIS Flume Plugin。 dos2unix
ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源，每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 父主题： 使用DIS Spark Streaming下载数据
工程，则可导入此lib目录下的所有jar到环境依赖即可 huaweicloud-dis-kafka-adapter-X.X.X-demo是一个样例工程，使用maven编写 例如使用IntelliJ IDEA，可按如下方式导入工程。 打开IntelliJ IDEA，选择“File >
工程，则可导入此lib目录下的所有jar到环境依赖即可 huaweicloud-dis-kafka-adapter-X.X.X-demo是一个样例工程，使用maven编写 例如使用IntelliJ IDEA，可按如下方式导入工程。 打开IntelliJ IDEA，选择“File >
用于数据处理的应用程序。 成本低廉：DIS没有前期成本，您只需要为实际使用的资源付费即可。 并行处理：DIS可让您用多个应用程序同时处理同一个数据通道。 安全可靠：DIS可将数据保留24~72小时，以防数据在应用程序故障、个别机器故障或设施故障时丢失。
DIS.4601 The number of resource tags has reached the maximum. 一个资源上最多有10个标签，添加标签时资源上已添加的标签数超出限制 请删除废弃的标签并重新添加标签。 400 DIS.4602 Invalid resource type
安装Plugin 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Flume服务器。 进入到Flume的安装目录。 cd ${FLUME_HOME} 上传“dis-flume-plugin-X.X.X.zip”安装包到此目录下。 解压安装包。
Key)是用户调用接口的访问密钥。由用户在Iam中创建，可在页面下载生成。 检查项目ID ProjectID表示租户的资源，每个Region都有一个唯一的项目ID。可在“我的凭证 > API凭证”页面查看不同Region对应的项目ID值。 获取DIS Flume Plugin包 这里获
新增转储任务 将数据发送到DIS通道后，通过为通道添加转储任务，数据将自动传输到您选择的目标。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 在左侧列表栏中选择通道管理。 单击需要查看的通道名称，进入所选通道的管理页面，选择“转储管理”页签。也可选中待
离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 上传“dis-logstash-plugins-X.X.X
标签共由两部分组成：“标签键”和“标签值”，其中，“标签键”和“标签值”的命名规则如表1所示。 表1 标签命名规则 参数 规则 样例 标签键 不能为空。 对于同一个通道，标签键唯一。 长度不超过36个字符，不能包含“=”,“*”,“<”,“>”,“\”,“,”,“|”,“/”，且首尾字符不能为空格。 Organization
${auto.commit.interval.ms}毫秒执行一次偏移量的提交；手动提交需要由客户端自己控制偏移量的提交。 自动提交 在创建一个消费者时，默认是自动提交偏移量，默认的提交间隔是5000ms。使用自动提交相关参数设置如下： props.setProperty("enable
${auto.commit.interval.ms}毫秒执行一次偏移量的提交；手动提交需要由客户端自己控制偏移量的提交。 自动提交 在创建一个消费者时，默认是自动提交偏移量，默认的提交间隔是5000ms。使用自动提交相关参数设置如下： props.setProperty("enable
附录 错误码 状态码 获取项目ID 介绍如何在控制台或者调用API获取项目ID。
用户指定通道名称即可，无需指定具体分区，服务端会根据消费者的数量变化或者通道扩缩容变化，触发group management机制，自动给每一个消费者分配分区，保证一个分区只会被一个消费者消费。 代码样例如下所示： package com.huaweicloud.dis.demo.adapter;
用户指定通道名称即可，无需指定具体分区，服务端会根据消费者的数量变化或者通道扩缩容变化，触发group management机制，自动给每一个消费者分配分区，保证一个分区只会被一个消费者消费。 代码样例如下所示： package com.huaweicloud.dis.demo.adapter;
artitionKey数据大小） - 分区数量 分区是DIS数据通道的基本吞吐量单位。 5 分区计算 用户可以根据实际需求通过系统计算得到一个建议的分区数量值。 单击“分区计算”，弹出“计算所需分区数量”对话框。 根据实际需求填写“平均记录大小”、“最大写入记录数”和“消费程序数
分区的数据有效范围可以通过调用describeStream(查询通道详情)接口获取，其sequenceNumberRange代表数据有效范围，第一个值为最老数据的sequenceNumber，最后一个值为下一条上传数据的sequenceNumber(最新数据的sequenceNumber为此值-1) 例如[100
artitionKey数据大小） - 分区数量 分区是DIS数据通道的基本吞吐量单位。 5 分区计算 用户可以根据实际需求通过系统计算得到一个建议的分区数量值。 单击“分区计算”，弹出“计算所需分区数量”对话框。 根据实际需求填写“平均记录大小”、“最大写入记录数”和“消费程序数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
