应用与数据集成平台 ROMA CONNECT-配置源端数据信息:Kafka

时间：2024-09-04 10:21:47

Kafka

返回页首

任务的“集成模式”为“实时”时，可以选择Kafka作为源端数据源。ROMA Connect的消息集成属于Kafka类型数据源。

在创建任务页面中配置源端信息。

**表13** 源端Kafka信息
参数	配置说明
源端实例	选择当前正在使用的ROMA Connect实例。
源端集成应用	选择Kafka数据源所属的集成应用，在接入数据源时已配置。
源端数据类型	选择“Kafka”。
数据源名称	选择接入数据源中已配置的Kafka数据源。
Topic名称	选择要获取数据的Topic名称。
是否解析	获取到的源端数据是否由ROMA Connect做进一步的数据解析。若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。
数据根字段	仅当“是否解析”选择“是”时需要配置。指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。
数据类型	选择从Kafka数据源获取的数据格式类型，需要与Kafka实际存储的数据格式一致。当“是否解析”选择“是”时，可选择“JSON”和“XML”；当“是否解析”选择“否”时，可选择“JSON”、“XML”和“二进制文件”。
消费偏移设置	选择集成最早获取的消息数据还是最新获取的消息数据。
元数据	仅当“是否解析”选择“是”时需要配置。指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。别名：对元数据的自定义名称。类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。
时区	选择Kafka数据源使用的时区，以便ROMA Connect识别数据的时间戳。

元数据解析路径配置说明：

JSON格式数据中不含数组
 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。
```
{
   "a": {
      "b": {
         "c": "xx",
         "d": "xx"
      }
   }
}
```
此场景下，对于数据根字段和解析路径有三种配置方案：
- 数据根字段不设置
   元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。
- 数据根字段设置为a
  元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。
- 数据根字段设置为a.b
  元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。
JSON格式数据中含数组
 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。
```
{
   "a": {
      "b": [{
         "c": "xx",
         "d": "xx"
      },
      {
         "c": "yy",
         "d": "yy"
      }
      ]
   }
}
```
此场景下，对于数据根字段和解析路径有三种配置方案：
- 数据根字段不设置
   元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。
- 数据根字段设置为a
  元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。
- 数据根字段设置为a.b
  元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。