应用与数据集成平台 ROMA Connect-配置源端数据信息:Kafka

时间：2025-02-12 15:03:17

Kafka

返回页首

任务的“集成模式”为“实时”时，可以选择Kafka作为源端数据源，具体配置如下。

表6 源端Kafka信息
参数	配置说明
Topic名称	选择要获取数据的Topic名称。
数据根字段	指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。
数据类型	选择从Kafka数据源获取的数据格式类型，需要与Kafka实际存储的数据格式一致，可选择格式为“JSON”。
消费偏移设置	选择集成最早获取的消息数据还是最新获取的消息数据。
时区	选择Kafka数据源使用的时区，以便ROMA Connect识别数据的时间戳。
元数据	指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。别名：对元数据的自定义名称。类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。

元数据解析路径配置说明：

JSON格式数据中不含数组
 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。
```
{   "a": {      "b": {         "c": "xx",         "d": "xx"      }   }}
```
此场景下，对于数据根字段和解析路径有三种配置方案：
- 数据根字段不设置
   元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。
- 数据根字段设置为a
  元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。
- 数据根字段设置为a.b
  元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。
JSON格式数据中含数组
 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。
```
{   "a": {      "b": [{         "c": "xx",         "d": "xx"      },      {         "c": "yy",         "d": "yy"      }      ]   }}
```
此场景下，对于数据根字段和解析路径有三种配置方案：
- 数据根字段不设置
   元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。
- 数据根字段设置为a
  元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。
- 数据根字段设置为a.b
  元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。