检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源创建DStream对接SparkStreaming。 DIS Spark Streaming使用流程如图1所示。 图1 DIS Spark Streaming使用流程 父主题： 使用DIS Spark Streaming下载数据
getCheckpointRequest = new GetCheckpointRequest(); // 设置App名称(注: 1.3.0及以前版本使用setAppId，1.3.1及后续版本请使用setAppName getCheckpointRequest.setAppName(appName); getCheckpointRequest
配置好以上参数，执行deleteApp_sample.py文件调用deleteApp_test方法，响应204表示删除成功。 父主题： 使用SDK（Python）
"current_partition_count":2 "target_partition_count":5 } 父主题： 使用SDK（Python）
[currentPartitionCount=2, streamName=mystream, targetPartitionCount=2] 父主题： 使用SDK（Java）
OffsetResetStrategy.LATEST.name()); // 默认情况下不需要设置endpoint，会自动使用域名访问；如需使用指定的endpoint，解除如下注释并设置endpoint即可 // props.setProperty(DISConfig
'timestamp': 1554705842558, 'timestamp_type': 'CreateTime'}]} 父主题： 使用SDK（Python）
如果使用步骤 2中示例的配置，则从DIS获取的数据会输出到控制台上，其内容显示为字节数组格式。 登录DIS控制台，等待2分钟后，查看表1中“streams”配置的通道的监控。如果显示有数据下载(蓝色线条)，表示DIS Source运行成功。 验证DIS Sink 使用PuTTY工具远程登录Flume所在服务器。
"xxx","partition_id": partition_id} #可写入多条数据，数据格式如record1所示，每写一条数据使用下面的append方法传入records中。 配置好以上参数后，执行protobuf_putRecords_sample.py文件调用p
查询转储列表 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 使用DIS SDK查询指定通道的转储任务列表。 1 2 3 4 ListTransferTasksRquest request = new ListTransferTasksRquest();
ms}毫秒执行一次偏移量的提交；手动提交需要由客户端自己控制偏移量的提交。 自动提交 在创建一个消费者时，默认是自动提交偏移量，默认的提交间隔是5000ms。使用自动提交相关参数设置如下： props.setProperty("enable.auto.commit", "true");// 显示设置偏移量自动提交
dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题： 使用Kafka Adapter上传与下载数据
检查项目ID ProjectID表示租户的资源，每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 父主题： 使用DIS Spark Streaming下载数据
', 'create_time': 1542765418080, 'app_name': 'testAppName2'}]} 父主题： 使用SDK（Python）
dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题： 使用Kafka Adapter上传与下载数据
X.X.X目录下是所有依赖的jar包，如果使用非Maven工程，则可导入此lib目录下的所有jar到环境依赖即可 huaweicloud-dis-kafka-adapter-X.X.X-demo是一个样例工程，使用maven编写 例如使用IntelliJ IDEA，可按如下方式导入工程。
卸载Plugin(可选) 操作步骤 使用PuTTY工具远程登录Flume所在服务器。 停止Flume程序。 进入DIS Flume Plugin插件所在的目录。 cd ${FLUME_HOME} cd dis-flume-plugin 卸载DIS Flume Plugin。 dos2unix
DIS数据包上传格式(非原始数据格式)。 json：DIS数据包封装为json格式，满足普通使用。 protobuf：DIS数据包封装为二进制格式，可以减少体积约1/3，在数据量较大的情况下推荐使用此格式。 json 父主题： 使用DIS Flume Plugin上传与下载数据
使用标签过滤资源（通道等） 功能介绍 该接口用于使用标签过滤资源（通道等）。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/stream/resource_instances/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id
Connector是数据接入服务（DIS）提供的一个sdk。 DIS Flink Connector支持将DIS作为数据源创建Stream对接Flink。 父主题： 使用DIS Flink Connector上传与下载数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
