华为云首页用户手册

企业SaaS应用-配置示例:配置Kafka类型的数据连接器

时间：2025-01-26 10:44:18

企业SaaS应用数据连接器

配置Kafka类型的数据连接器

前提条件

数据图书馆中已经创建资产用于存放从Kafka管理的即时数据，目前只支持将数据存放在数据库类型的资产中。

Kafka中已经创建好主题，本样例以"sdata"为例，具体操作步骤如下。

用Ctrl+R打开cmd窗口，输入ssh IP -l kafka命令登录Kafka服务器（请根据实际情况配置服务器IP地址和用户名）。
执行cd /home/kafka/kafka_2.13-2.8.0/bin命令，进入bin目录（请根据实际情况进入Kafka的安装目录）。
执行 ./kafka-console-producer.sh --broker-list IP --topic sdata命令，打开消息控制台创建主题。

请根据实际情况配置IP地址、端口、主题名称，此处主题名称以“sdata”为例。

操作步骤

以账号登录unidaten系统。
光标放置在系统左上角，在功能导航中单击选择“数据连接器”，进入数据连接器页面。
选择目标目录，单击“新增数据连接器”，进入“输入配置”页面。
输入连接器名称，配置“输入配置”中的参数，如下所示。

图32 输入配置
单击“数据处理”，配置参数如下所示。此处处理方式配置为“无”。用户可根据实际情况，对管理的数据进行处理。

如果处理方式为“无”，数据处理配置如下所示。
图33 数据处理1

如果处理方式为“JSON格式”，数据处理配置如下所示（此处的输出字段与输出配置中的资产中的字段类型保持一致）。
图34 数据处理2
单击“输出配置”，配置参数如下所示。“配置项”中的参数可根据实际情况进行修改。

如果处理方式为“无”，输出配置如下所示，此处数据资产选择“kafka_content”。

图35 输出配置1

如果处理方式为“JSON格式”，选择图书馆资产，将资产和Kafka中的字段绑定输出配置如下所示。

图36 输出配置2
单击“保存”，Kafka数据连接器配置完成。
选择创建好的连接器，单击“开启”，开启数据连接器。

图37 开启

验证步骤

用Ctrl+R打开cmd窗口，输入以下命令登录Kafka服务器（请根据实际情况配置服务器IP地址和用户名）。

ssh IP -l kafka
执行以下命令，进入bin目录（请根据实际情况配置Kafka的安装目录）。

cd /home/kafka/kafka_2.13-2.8.0/bin
执行以下命令，打开消息控制台发送消息。

请根据实际情况配置IP地址、端口、主题名称，此处主题名称以“sdata”。

./kafka-console-producer.sh --broker-list IP --topic sdata

方式一：当数据处理方式为“无”。
- 输入消息，验证步骤如下所示。
  图38 验证步骤
- 执行以下命令，打开消息控制接收信息。请根据实际情况配置IP地址、端口、主题名称。
  ./kafka-console-consumer.sh --bootstrap-server IP --topic sdata --from-beginning
  
  图39 执行以下命令
- 以账号登录unidaten系统，光标放置在系统左上角，在功能导航中单击选择“数据图书馆”，进入数据图书馆页面，选择“kafka_content”资产，查看即时数据是否刷新成功。
  图40 资产数据
方式二：当数据处理方式为“JSON格式”。
- 输入消息，验证步骤如下所示。
  图41 验证步骤
- 执行以下命令，打开消息控制接收信息。请根据实际情况配置IP地址、端口、主题名称。
  ./kafka-console-consumer.sh --bootstrap-server IP --topic sdata --from-beginning
  
  图42 执行以下命令
- 以账号登录unidaten系统，光标放置在系统左上角，在功能导航中单击选择“数据图书馆”，进入数据图书馆页面，选择资产，查看即时数据是否刷新成功。
  图43 账号登录