检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询转储列表 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK查询指定通道的转储任务列表。
查询APP列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 listApp_test 方法中的(limit可设置单次请求返回APP列表的最大数量取值范围:1~100)。
package com.huaweicloud.dis.demo.adapter; import com.huaweicloud.dis.DISConfig; import com.huaweicloud.dis.adapter.kafka.clients.producer.*;
Protobuf格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。
> </dependency> 使用DIS样例工程 在https://dis-publish.obs-website.cn-north-1.myhuaweicloud.com/中下载DIS的kafka-adapter压缩包。
代码样例如下所示: package com.huaweicloud.dis.demo.adapter; import com.huaweicloud.dis.DISConfig; import com.huaweicloud.dis.adapter.kafka.clients.consumer
初始化DIS客户端 您可以使用以下两种方法初始化DIS SDK客户端实例,优先选择使用代码进行初始化。其中,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参考获取认证信息。 使用代码初始化DIS SDK客户端实例。
初始化DIS客户端 您可以使用以下方法初始化DIS SDK客户端实例。其中,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参考获取认证信息。
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略,在创建DISKafkaConsumer对象时,通过参数enable.auto.commit设定,true表示自动提交(默认)。
查看日志,若日志中有类似“Dis flume sink [dissink] start.”内容,表示DIS Sink正常启动,其中“dissink”是用户配置的sink名称。 检查DIS Sink上传数据是否正常。
com.cloud.dis.adapter.flume.source.DISSource streams 是 指定在DIS服务上创建的通道名称。 与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。
进入DIS Flume Plugin插件所在的目录。 cd ${FLUME_HOME} cd dis-flume-plugin 卸载DIS Flume Plugin。
Install dis-flume-plugin successfully. 父主题: 使用DIS Flume Plugin上传与下载数据
使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 参考步骤1:开通DIS通道申请开通DIS通道,并持续上传数据到新创建的DIS通道。本次范例上传的内容为hello world。
准备DIS Spark Streaming的相关环境 准备DIS应用开发环境 参考步骤1:开通DIS通道准备相应DIS环境。 安装Maven并配置本地仓库地址。 安装scala-sdk。
group.id 参数 支持 消费组ID client.id 参数 支持 每个consumer的client.id必须唯一,如果不配置client.id, dis kafka consumer会生成一个uuid作为client.id。