检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接OBS 介绍 DIS可以向对象存储服务（Object Storage Service，简称OBS）上传数据。 前提条件 已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时，DIS会将通道数据周期性导入OBS。
用户创建转储任务时，需要指定转储任务名称，同一通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。 - 数据转储地址 存储该通道数据的OBS桶名称。桶名称在“对象存储服务”中“创建桶”时创建。 - 转储文件目录 在OBS中存储通道文件的自定义目
连接OBS 介绍 DIS可以向对象存储服务（Object Storage Service，简称OBS）上传数据。 前提条件 已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时，DIS会将通道数据周期性导入OBS。
上传流式数据 样例代码 使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。
DWS：转储到DWS 缺省值：NOWHERE 枚举值： OBS obs_destination_descriptor 否 OBSDestinationDescriptorRequest object 转储目的地为OBS的参数列表。 表4 OBSDestinationDescriptorRequest
参数 是否必选 参数类型 描述 data 是 String 需要上传的数据。 上传的数据为序列化之后的二进制数据（Base64编码后的字符串）。 比如需要上传字符串“data”，“data”经过Base64编码之后是“ZGF0YQ==”。 explicit_hash_key 否 String
添加转储任务 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 使用DIS SDK创建转储任务，需要指定通道名称、转储任务名称，转储周期，转储目标服务等信息。 添加转储到对象存储服务（OBS）的转储任务 1 2 3 4 5 6 7 8 9
LoggerFactory; import java.util.Properties; import java.util.concurrent.CountDownLatch; import java.util.concurrent.Future; import java.util.concurrent
LoggerFactory; import java.util.Properties; import java.util.concurrent.CountDownLatch; import java.util.concurrent.Future; import java.util.concurrent
使用SDK（Java） 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint
通道里的流式数据存储在DIS中，并周期性导入对象存储服务（Object Storage Service，简称OBS）。 通道里的实时文件数据传输完成后，导入OBS。 OBS 任务名称 用户创建转储任务时，需要指定转储任务名称，同一通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。
setTransferTaskName(taskName); // 转储至对象存储服务(简称OBS)：OBS桶名和子文件夹名，通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis1"); descriptor.setFilePrefix("transfertask");
dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题： 使用Kafka Adapter上传与下载数据
dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题： 使用Kafka Adapter上传与下载数据
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题： 使用DIS
START_OF_FILE # ## bucket name # OBSBucket: YOU_OBS_BUCKET_NAME # ## OBS endpoint # OBSEndpoint: https://obs.myregion.cloud.com # ## the
// 指定待查询的转储任务名称 request.setTransferTaskName(taskName); 配置“DescribeTransferTaskRequest”对象之后，通过调用describeTransferTask的方法查询指定的转储任务详情。 1 Descri
安装DIS Logstash Plugin前准备 检查依赖 确认Logstash已安装并能正常运行。 确认使用的Java版本为1.8.0及以上版本。执行如下命令查看Java版本。 java -version 确认使用的JRuby版本为9.0.0.0及以上版本。执行如下命令查看JRuby版本。
的已有数据，而是从下一条上传的数据开始。 (如分区数据有效范围为[100, 200], 则会从200开始消费，如此时无数据上传，则获取的数据为空；如有数据上传，就会得到200,201,202,...) 适用于不知道消费位置，则丢弃分区已有的数据，从新上传的数据开始消费的场景。 无
调用listTransferTask的方法查询指定通道的转储任务列表。 1 ListTransferTasksResult result = dic.listTransferTasks(request); 查询转储任务列表的返回信息如下。 1 2 3 4 5 6 7
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
