检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Partition [0], Offset [123]. 与原生KafkaProducer接口适配说明 DISKafkaProducer的实现与KafkaProducer的实现不同,DISKafkaProducer的客户端与服务端通过Rest API实现,而KafkaProduce
Project”,作为工程打开。 单击“New Window”,在新窗口打开此工程。 等待IntelliJ IDEA构建工程,完成之后会显示目录与文件 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。
Client上传数据的用户,以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题: 使用Kafka Adapter上传与下载数据
Project”,作为工程打开。 单击“New Window”,在新窗口打开此工程。 等待IntelliJ IDEA构建工程,完成之后会显示目录与文件 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。
OffsetAndMetadata(lastOffset + 1))); } } } 父主题: 使用Kafka Adapter上传与下载数据
Partition [0], Offset [123]. 与原生KafkaProducer接口适配说明 DISKafkaProducer的实现与KafkaProducer的实现不同,DISKafkaProducer的客户端与服务端通过Rest API实现,而KafkaProduce
Logstash Plugin概述 DIS Logstash Plugin是数据接入服务(DIS)为Logstash开发的插件,包含DIS Input与DIS Output。 DIS Input用于从DIS服务下载数据到Logstash。 DIS Output用于将Logstash中的数据上传到DIS服务。
DIS Flume Plugin概述 DIS Flume Plugin是数据接入服务(DIS)为Flume开发的插件,包含DIS Source与DIS Sink。 DIS Source用于从DIS服务下载数据到Flume Channel。 DIS Sink用于将Flume Channel中的数据上传到DIS服务。
配置DIS Logstash Plugin DIS Logstash Plugins 分为Input与Output插件,本节介绍插件的各个配置项具体含义。 配置DIS Logstash Input 配置模板如下:(该模板为从DIS通道下载数据写入本地文件) input { dis
Flink Connector支持将DIS作为数据源创建Stream对接Flink。 父主题: 使用DIS Flink Connector上传与下载数据
Client上传数据的用户,以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题: 使用Kafka Adapter上传与下载数据
4], Partition [0], Offset [158], Key [822860] 父主题: 使用Kafka Adapter上传与下载数据
egion都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 父主题: 使用DIS Flink Connector上传与下载数据
OffsetAndMetadata(lastOffset + 1))); } } } 父主题: 使用Kafka Adapter上传与下载数据
4], Partition [0], Offset [158], Key [822860] 父主题: 使用Kafka Adapter上传与下载数据
${region} YOU_AK YOU_SK YOU_PROJECTID YOU_STREAM_NAME latest GROUP_ID 参数顺序与含义在示例代码中有,可以参考。 // DIS终端节点,如 https://dis.cn-north-1.myhuaweicloud.com
com/获取“dis-logstash-Plugin-X.X.X.zip”压缩包。 父主题: 使用DIS Logstash Plugin上传与下载数据
Plugin包 这里获取“dis-flume-Plugin-X.X.X.zip”压缩包。 父主题: 使用DIS Flume Plugin上传与下载数据
安装DIS Agent 前提条件 已安装PuTTY工具。 Linux服务器上安装DIS Agent 使用PuTTY工具登录日志所在服务器,即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X
验证DIS Agent Linux服务器上验证DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent的日志目录。 cd /opt/dis-agent-X.X.X/logs 查看日志。 tail -100f dis-agent.log 显示如下信息,表示Agent正常运行。