检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最长上传等待时间。单位：毫秒 记录队列满则立即上传。 记录队列未满，等待此配 置项配置的时间后上传。 5000 connectionTimeOutSeconds 否 连接DIS接口超时时间。 单位：秒。 30 socketTimeOutSeconds 否 接口响应超时时间。 单位：秒。
PROPERTY_PRODUCER_EXCEPTION_RETRIES, "-1") .build(); 若需在客户端设置DIS连接超时时间，请使用如下方法初始化DIS客户端： 1 2 3 4 5 6 7 8 9 // 创建DIS客户端实例 DIS dic = DISClientBuilder
AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服务，您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域？ 选择区域时，您需要考虑以下几个因素： 地理位置 一般情况下，建议
步骤3：发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务（Object Storage Service，简称OBS）MapReduce服务（MapReduce Service,简称MRS）、数据仓库服务（Data
步骤3：发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务（Object Storage Service，简称OBS）MapReduce服务（MapReduce Service,简称MRS）、数据仓库服务（Data
创建订阅 使用注册账户登录DIS控制台。 单击“事件管理”。 在“事件管理”页面中单击“订阅 > 创建订阅”。 在“订阅设置”区域，设置订阅基本信息及事件过滤。 “订阅事件”区域显示系统根据订阅设置筛选出的事件。 表1 订阅参数 参数名 参数解释 启用消息通知 设置是否开启事件订阅。
AT_TIMESTAMP 指定一个时间戳，会从此时间戳上传的数据开始读取，要求在获取游标的时候，有一个明确的13位时间戳。 (例如指定1541742263206，表示读取从2018-11-09 13:44:23开始上传的数据) 适用于不知道消费位置，但想从指定的时间或者从已知上次消费的停止时间开始消费的场景
安装DIS Agent 前提条件 已安装PuTTY工具。 Linux服务器上安装DIS Agent 使用PuTTY工具登录日志所在服务器，即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X
对已有分区进行缩容操作后，缩容成功的分区不再进行计费也不参与配额控制。在步骤1：开通DIS通道中配置的“生命周期”时间内，缩容成功的分区可以读取数据不可写入数据，超过此时间则不可读取/写入数据。 执行自动扩缩容操作 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 按照如下方法进行自动扩缩容。
String 转储任务类型。 OBS：转储到OBS MRS：转储到MRS DLI：转储到DLI CLOUDTABLE：转储到CloudTable DWS：转储到DWS 缺省值：NOWHERE 枚举值： OBS obs_destination_descriptor 否 OBSDestinationDescriptorRequest
查询Checkpoint 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 3 streamname = "" #通道名称 appName="xx" # APP名称（APP是已存在状态） partitionId="shardId-0000000000"
关参数设置如下： props.setProperty("enable.auto.commit", "true");// 显示设置偏移量自动提交 props.setProperty("auto.commit.interval.ms", "5000");// 设置偏移量提交时间间隔 手动提交
新增Checkpoint 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 3 4 5 streamname = "" #通道名称 appName="xx" # APP名称（APP是已存在状态） partitionId="shardId-0000000000"
String 源数据时间戳的属性名称。 timestamp_type String 源数据时间戳的类型。 String Timestamp：Long类型的13位时间戳 timestamp_format String 源数据时间戳的类型为String时必选，用于根据时间戳格式生成OBS的时间目录。
取值范围：0~50个字符。 默认配置为空。 obs_bucket_path 是 String 临时存储该通道数据的OBS桶名称。 retry_duration 否 String 用户数据转储失败的失效重试时间。重试时间超过该配置项配置的值，则将转储失败的数据备份至“OBS桶/ file_prefix/mrs_error”目录下。
Service，简称OBS）上传数据。 前提条件 已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时，DIS会将通道数据周期性导入OBS。 父主题： 入门
续捕获、传送和存储数TB数据。 数据流向 DIS实时从多种数据源采集数据。 DIS连续传输数据，自动将数据传输至MRS，DLI，DWS和OBS等服务做计算，分析和存储。 图1 数据流向
setTransferTaskName(taskName); // 转储至对象存储服务(简称OBS)：OBS桶名和子文件夹名，通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis"); descriptor.setFilePrefix("transfertask");
4305 Too many stream requests. 同一时间内用户请求太多 请降低请求频率并重试。 400 DIS.4306 The bucket does not exist. 传入的OBS桶不存在 请检查OBS桶是否存在。 400 DIS.4307 The stream already
者序列性的值组成的数据对象。“源数据类型”选择“JSON”，则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”和“DWS”。 CSV：纯文本形式存储的表格数据，分隔符默认采用逗号。 “源数据类型”选择“CSV”，则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”、“DWS”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
