检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
缺省值：LATEST 枚举值： LATEST TRIM_HORIZON file_prefix 否 String 在OBS中存储通道文件的自定义目录，多级目录可用“/”进行分隔，不可以“/”开头。 取值范围：英文字母、数字、下划线和斜杠，最大长度为50个字符。 默认配置为空。 最大长度：50
artitionKey数据大小） - 分区数量 分区是DIS数据通道的基本吞吐量单位。 5 分区计算 用户可以根据实际需求通过系统计算得到一个建议的分区数量值。 单击“分区计算”，弹出“计算所需分区数量”对话框。 根据实际需求填写“平均记录大小”、“最大写入记录数”和“消费程序数
artitionKey数据大小） - 分区数量 分区是DIS数据通道的基本吞吐量单位。 5 分区计算 用户可以根据实际需求通过系统计算得到一个建议的分区数量值。 单击“分区计算”，弹出“计算所需分区数量”对话框。 根据实际需求填写“平均记录大小”、“最大写入记录数”和“消费程序数
Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题： 使用DIS
artitionKey数据大小） - 分区数量 分区是DIS数据通道的基本吞吐量单位。 5 分区计算 用户可以根据实际需求通过系统计算得到一个建议的分区数量值。 单击“分区计算”，弹出“计算所需分区数量”对话框。 根据实际需求填写“平均记录大小”、“最大写入记录数”和“消费程序数
Spark Streaming下载数据 DIS Spark Streaming概述 准备DIS Spark Streaming的相关环境 自定义SparkStreaming作业 父主题： 使用DIS
2019-10-08 第二十三次正式发布： 优化Java和Python SDK。 2019-07-08 第二十次正式发布： 小文件功能下线，删除“创建源数据类型是FILE的通道”。 2019-07-03 第十九次正式发布： Java SDK不兼容原生Kafka客户端，删除“连接Kafka
为1～64个字符。 - DLI数据库 单击“选择”，在“选择DLI数据库”窗口选择一个数据库。 此配置项仅支持选择，不可手动输入。 - DLI数据表 单击“选择”，在“选择DLI数据表”窗口选择一个数据表。仅支持数据位置为DLI类型的数据表，且用户需具有该表的插入权限。 此配置项仅支持选择，不可手动输入。
LoggerFactory; import java.util.Properties; import java.util.concurrent.CountDownLatch; import java.util.concurrent.Future; import java.util.concurrent
失败。 显示类似如下信息，表示Agent启动成功。 Success to start DIS Agent [xxxxx]. 如果启动出现java变量找不到的情况，执行source /etc/profile后重新启动Agent。 Windows服务器上启动DIS Agent 进入DIS
4335 Invalid IAM agency. 创建转储任务时，使用的IAM委托无效 检查DIS创建的dis_admin_agency或用户自定义的IAM委托是否存在，权限是否完整。 400 DIS.4336 Invalid HDFS path. 创建MRS转储任务时，传入的MRS HDFS路径无效
v2.*; import com.huaweicloud.sdk.dis.v2.model.*; import java.util.List; import java.util.ArrayList; public class BatchStartTransferTaskSolution
v2.*; import com.huaweicloud.sdk.dis.v2.model.*; import java.util.List; import java.util.ArrayList; public class BatchStopTransferTaskSolution
DIS对应Region的数据接口地址。 https://dis.cn-north-1.myhuaweicloud.com group_id 是 DIS App名称，用于标识一个消费组，值可以为任意字符串 请根据实际情况配置 auto_offset_reset 否 指定数据从通道中开始消费的位置，支持： earliest：从通道中最早的数据开始消费
LoggerFactory; import java.util.Properties; import java.util.concurrent.CountDownLatch; import java.util.concurrent.Future; import java.util.concurrent
的所有通道。 将通道迁入或迁出企业项目 一个DIS通道只能关联一个企业项目。当通道创建成功后，可以在企业管理的控制台中，执行迁出操作，将DIS通道从当前所属的企业项目中迁出到另一个企业项目中；或者执行迁入操作，在指定的企业项目中迁入另一个企业项目中的DIS通道。迁入迁出后，DIS
obs_bucket_path 是 String 临时存储该通道数据的OBS桶名称。 file_prefix 否 String 临时存储该通道数据的OBS桶下的自定义目录，多级目录可用“/”进行分隔，不可以“/”开头。 取值范围：英文字母、数字、下划线和斜杠，最大长度为50个字符。 默认配置为空。 retry_duration
escribeStream(查询通道详情)接口获取，其sequenceNumberRange代表数据有效范围，第一个值为最老数据的sequenceNumber，最后一个值为下一条上传数据的sequenceNumber(最新数据的sequenceNumber为此值-1) 图3 下载数据
"key" : "key", "value" : "value" } } 响应示例 无 SDK代码示例 SDK代码示例如下。 Java Python Go 更多 给指定通道添加标签 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
标签共由两部分组成：“标签键”和“标签值”，其中，“标签键”和“标签值”的命名规则如表1所示。 表1 标签命名规则 参数 规则 样例 标签键 不能为空。 对于同一个通道，标签键唯一。 长度不超过36个字符，不能包含“=”,“*”,“<”,“>”,“\”,“,”,“|”,“/”，且首尾字符不能为空格。 Organization
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
