检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新增Checkpoint 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK创建Checkpoint,需要指定通道名称、APP名称、分区编号、序列号以及Checkpoint类型。 其中,“streamName”的配置值要与开通DIS通道中“Stream
准备环境 已安装python2.7或以上版本,配置好python环境变量。 已安装pycharm。 父主题: 使用SDK(Python)
查询通道详情 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK查询指定通道信息。 1 2 3 4 String streamName = "myStream"; DescribeStreamRequest describeStreamRequest
取值范围:任意一个字符,且包含在双引号内。 取值不可为空,即该配置项不可配置为“”。 说明: 如果取值为特殊字符,使用反斜杠(\)转义,如分隔符为引号("),可配置为"\"",如果为反斜杠(\),可配置为"\\"。 如果为控制字符如STX(正文开始),可配置为"\u0002"。 "\n" isRemainRecordDelimiter
streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下: # startSeq与AT_SEQUENCE_NUMBER/AFTER_SEQUENCE_NUMBER搭配使用 r = cli.getCursor(streamname, partitionId
查询转储详情 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK查询指定转储任务的详情。 1 2 3 4 5 6 7 DescribeTransferTaskRequest request = new DescribeTransferTaskRequest();
获取数据游标 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK获取数据游标信息。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 // 配置通道名称 String streamName =
使用DIS Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题: 使用SDK
4 { "sequence_number": "10", "metadata": "metadata" } 父主题: 使用SDK(Python)
配置好以上参数后,执行deleteStream_sample.py文件默认调用deleteStream_test方法,获取响应204删除成功。 父主题: 使用SDK(Python)
配置好以上参数后,执行add_dump_task_sample.py文件默认调用add_dump_task_test方法,获取响应201创建成功。 父主题: 使用SDK(Python)
dic。 使用DIS SDK创建APP,需要指定APP名称。 1 2 // APP名称 String appName = "myApp"; 配置APP名称之后,通过调用createApp的方法创建APP。 dic.createApp(myApp); 父主题: 使用SDK(Java)
X.X.X目录下是所有依赖的jar包,如果使用非Maven工程,则可导入此lib目录下的所有jar到环境依赖即可 huaweicloud-dis-kafka-adapter-X.X.X-demo是一个样例工程,使用maven编写 例如使用IntelliJ IDEA,可按如下方式导入工程。
更新转储任务 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK更新转储任务,需要指定通道名称、转储任务名称,转储周期,转储目标服务等信息。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
用。(例如上传一条数据到新分区,其sequenceNumber起始为0,上传100条之后,则最后一条的sequenceNumber为99;如超过生命周期之后,0~99的数据则不可用) 分区的数据有效范围可以通过调用describeStream(查询通道详情)接口获取,其seque
getCheckpointRequest = new GetCheckpointRequest(); // 设置App名称(注: 1.3.0及以前版本使用setAppId,1.3.1及后续版本请使用setAppName getCheckpointRequest.setAppName(appName); getCheckpointRequest
上传流式数据 样例代码 使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。
配置好以上参数,执行deleteApp_sample.py文件调用deleteApp_test方法,响应204表示删除成功。 父主题: 使用SDK(Python)
"current_partition_count":2 "target_partition_count":5 } 父主题: 使用SDK(Python)