检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka Adapter概述 dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题： 使用Kafka Adapter上传与下载数据
SDK客户端实例。 在“dis-sdk-demo\src\main\resources”目录下的“dis.properties”文件中添加如下配置项。 ak/sk：用户在IAM中创建的AK/SK。 region：用户使用通道所在的区域。 endpoint：DIS的访问地址。 projectId：通道所在的资源ID。
streams 是 指定在DIS服务上创建的通道名称。 与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。 请根据实际情况配置 sk 是 用户的Secret Key。 获取方式请参见检查认证信息。 请根据实际情况配置
卸载Plugin(可选) 操作步骤 使用PuTTY工具远程登录Flume所在服务器。 停止Flume程序。 进入DIS Flume Plugin插件所在的目录。 cd ${FLUME_HOME} cd dis-flume-plugin 卸载DIS Flume Plugin。 dos2unix
DIS Flink Connector概述 DIS Flink Connector是数据接入服务（DIS）提供的一个sdk。 DIS Flink Connector支持将DIS作为数据源创建Stream对接Flink。 父主题： 使用DIS Flink Connector上传与下载数据
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用SDK
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>
安装Plugin 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Flume服务器。 进入到Flume的安装目录。 cd ${FLUME_HOME} 上传“dis-flume-plugin-X.X.X.zip”安装包到此目录下。 解压安装包。
描述 案例 使用DIS实时分析车辆位置 数据接入服务（Data Ingestion Service，简称DIS）实时采集车辆位置数据并上传到华为云的表格存储服务（CloudTable Service，简称CloudTable）中，用户可以使用CloudTable查询指定车辆在指定时间段的车辆位置。
缺省值：100 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 响应参数 状态码： 200 表4 响应Body参数
Plugin 验证DIS Logstash Input 使用PuTTY工具远程登录Logstash所在服务器。 启动Logstash程序。 bin/logstash -f dis_to_local.conf 其中 -f 为用户编写的配置文件路径。 检查DIS Logstash Input下载数据是否正常。
DIS Logstash Plugin概述 DIS Logstash Plugin是数据接入服务（DIS）为Logstash开发的插件，包含DIS Input与DIS Output。 DIS Input用于从DIS服务下载数据到Logstash。 DIS Output用于将Logstash中的数据上传到DIS服务。
DIS Flume Plugin概述 DIS Flume Plugin是数据接入服务（DIS）为Flume开发的插件，包含DIS Source与DIS Sink。 DIS Source用于从DIS服务下载数据到Flume Channel。 DIS Sink用于将Flume Channel中的数据上传到DIS服务。
在线安装无需下载插件包，直接连接公网即可安装。 前提条件 已安装PuTTY工具。 安装logstash-input-dis 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 执行安装命令。 bin/logstash-plugin
Plugin有在线和离线安装两种方式： 离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 上传“dis-logstash-plugins-X
卸载DIS Logstash Plugin(可选) 操作步骤 使用PuTTY工具远程登录Logstash所在服务器。 停止Logstash程序。 进入DIS Logstash Plugins插件所在的目录。 cd ${LOGSTASH_HOME} cd logstash-plugins
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
