数据接入服务 DIS-验证Plugin:验证DIS Sink

时间：2025-02-12 14:55:05

数据接入服务 DIS

验证DIS Sink

使用PuTTY工具远程登录Flume所在服务器。

确认已配置好包含dis sink的配置文件

可基于Flume自带的flume-conf.properties.template修改，文件样例如下所示：

agent.sources = execagent.channels = memoryChannelagent.sinks = dissink# 定义 Source (使用exec source，监控/tmp/dis.txt文件)agent.sources.exec.type = execagent.sources.exec.command = tail -F /tmp/dis.txtagent.sources.exec.shell = /bin/bash -cagent.sources.exec.channels = memoryChannel# 定义 Channelagent.channels.memoryChannel.type = memoryagent.channels.memoryChannel.capacity = 10000# 定义 Sink (使用dis sink，输出到dis通道)agent.sinks.dissink.channel = memoryChannelagent.sinks.dissink.type = com.cloud.dis.adapter.flume.sink.DISSinkagent.sinks.dissink.streamName = YOU_DIS_STREAM_NAMEagent.sinks.dissink.ak = YOU_AC CES S_KEY_IDagent.sinks.dissink.sk = YOU_SECRET_KEY_IDagent.sinks.dissink.region = YOU_Regionagent.sinks.dissink.projectId = YOU_PROJECT_IDagent.sinks.dissink.endpoint = https://dis.${region}.myhuaweicloud.comagent.sinks.dissink.resultLogLevel = INFO

启动Flume程序，启动命令请参考Apache Flume官网指导。

如果从Flume安装目录启动，示例命令如下所示
```
bin/flume-ng agent --conf-file conf/flume-conf.properties.template --name agent --conf conf/ -Dflume.root.logger=INFO,console
```
其中bin/flume-ng agent表示启动Flume Agent；--conf-file 为用户编写的配置文件路径； --name 为配置文件中agent的名称, --conf 为Flume自带的conf/路径。

查看日志，若日志中有类似“Dis flume sink [dissink] start.”内容，表示DIS Sink正常启动，其中“dissink”是用户配置的sink名称。
检查DIS Sink上传数据是否正常。

向Flume的source端输入数据，在DIS Sink的resultLogLevel级别不为OFF且不低于log4j配置的值，查看日志输出类似如下结果，表示DIS Sink上传数据正常。
```
CurrentPut 5 events[success 5 / failed 0] spend 131 ms.
```
如果使用步骤 2中示例的配置，您可创建/tmp/dis.txt文件，并在此文件中追加内容。则启动Flume之后，追加的每行内容会被Flume读取并通过dis sink插件发动到DIS通道中。
登录DIS控制台，等待2分钟后，查看表2中“streamName”配置的通道的监控。如果显示有数据上传(绿色线条)，表示DIS Sink运行成功。