检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接OBS 介绍 DIS可以向对象存储服务（Object Storage Service，简称OBS）上传数据。 前提条件 已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时，DIS会将通道数据周期性导入OBS。
数据转储地址 存储该通道数据的OBS桶名称。桶名称在“对象存储服务”中“创建桶”时创建。 - 转储文件目录 在OBS中存储通道文件的自定义目录，多级目录可用“/”进行分隔，不能以“/”开头。 取值范围：0~50个字符。 默认配置为空。 - 时间目录格式 数据将存储在OBS桶中转储文件目录下，按时间格式作为层级的目录中。
连接OBS 介绍 DIS可以向对象存储服务（Object Storage Service，简称OBS）上传数据。 前提条件 已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时，DIS会将通道数据周期性导入OBS。
String 转储任务类型。 OBS：转储到OBS MRS：转储到MRS DLI：转储到DLI CLOUDTABLE：转储到CloudTable DWS：转储到DWS 缺省值：NOWHERE 枚举值： OBS obs_destination_descriptor 否 OBSDestinationDescriptorRequest
使用DIS 检查与配置DNS信息 使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink
key=obs_dump_task,value=['text','obs-1253', '','yyyy', '|']) # 添加OBS转储服务,配置obs_Schema值 cli.add_dump_task(streamname, task_name,'OBS',obs_Schema)
使用前必读 概述 调用说明 终端节点 约束与限制 基本概念
选择“BLOB”，则支持的“转储服务类型”为“OBS”、“MRS”。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。“源数据类型”选择“JSON”，则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”和“DWS”。 CSV
使用SDK 使用SDK（Java） 使用Kafka Adapter上传与下载数据 使用SDK（Python）
数MB扩展到数TB，PUT记录每秒钟可从数千次扩展到数百万。 易于使用：您可以在几秒钟内创建DIS数据通道，轻松地将数据放入通道中，并构建用于数据处理的应用程序。 成本低廉：DIS没有前期成本，您只需要为实际使用的资源付费即可。 并行处理：DIS可让您用多个应用程序同时处理同一个
使用限制 使用DIS前，您需要认真阅读并了解以下使用限制。 建议使用支持的浏览器登录DIS。 Google Chrome：48.0及更高版本 Mozilla FireFox：43.0及更高版本 Internet Explorer：9.0及更高版本 当使用Internet Explorer
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题： 使用DIS
使用SDK（Python） 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情
使用SDK（Java） 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint
使用CES监控DIS 支持的监控指标 设置告警规则 查看监控指标
setTransferTaskName(taskName); // 转储至对象存储服务(简称OBS)：OBS桶名和子文件夹名，通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis1"); descriptor.setFilePrefix("transfertask");
X.X.X目录下是所有依赖的jar包，如果使用非Maven工程，则可导入此lib目录下的所有jar到环境依赖即可 huaweicloud-dis-kafka-adapter-X.X.X-demo是一个样例工程，使用maven编写 例如使用IntelliJ IDEA，可按如下方式导入工程。
续捕获、传送和存储数TB数据。 数据流向 DIS实时从多种数据源采集数据。 DIS连续传输数据，自动将数据传输至MRS，DLI，DWS和OBS等服务做计算，分析和存储。 图1 数据流向 父主题： 一般性问题
X.X.X目录下是所有依赖的jar包，如果使用非Maven工程，则可导入此lib目录下的所有jar到环境依赖即可 huaweicloud-dis-kafka-adapter-X.X.X-demo是一个样例工程，使用maven编写 例如使用IntelliJ IDEA，可按如下方式导入工程。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
