应用与数据集成平台 ROMA CONNECT-配置源端数据信息:MRS Kafka
MRS Kafka
返回页首
任务的“集成模式”为“实时”时,可以选择MRS Kafka作为源端数据源。
- 在创建任务页面中配置源端信息。
表21 源端MRS Kafka信息 参数
配置说明
源端实例
选择当前正在使用的ROMA Connect实例。
源端集成应用
选择MRS Kafka数据源所属的集成应用,在接入数据源时已配置。
源端数据类型
选择“MRS Kafka”。
数据源名称
选择接入数据源中已配置的MRS Kafka数据源。
Topic名称
填写用户在MRS Kafka服务已创建的Topic,不可随意自定义。
是否解析
获取到的源端数据是否由ROMA Connect做进一步的数据解析。
- 若选择是,则ROMA Connect根据配置的解析规则,对获取到的源端数据解析后再集成到目标端。
- 若选择否,则ROMA Connect会直接透传获取到的源端数据,并集成到目标端。
数据根字段
仅当“是否解析”选择“是”时需要配置。
指从源端获取到的JSON格式数据中,元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合,即为元数据的完整路径,具体请参见元数据路径配置说明。
数据类型
选择从MRS Kafka数据源获取的数据格式类型,需要与MRS Kafka实际存储的数据格式一致。
- 当“是否解析”选择“是”时,可选择“JSON”、“XML”。
- 当“是否解析”选择“否”时,可选择“JSON”、“XML”、“二进制文件”。
消费偏移设置
选择集成最早获取的消息数据还是最新获取的消息数据。
元数据
仅当“是否解析”选择“是”时需要配置。
指从源端获取到的JSON格式数据中,要集成到目标端的每一个底层key-value型数据元素。
- 别名:对元数据的自定义名称。
- 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。
- 解析路径:元数据的完整路径中,不包含数据根字段的路径部分,具体请参见元数据解析路径配置说明。
时区
选择MRS Kafka数据源使用的时区,以便ROMA Connect识别数据的时间戳。
元数据解析路径配置说明:
- JSON格式数据中不含数组
如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。
{ "a": { "b": { "c": "xx", "d": "xx" } } }
此场景下,对于数据根字段和解析路径有三种配置方案:
- JSON格式数据中含数组
如以下JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素,即需要通过ROMA Connect集成到目标端的数据。
{ "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } }
此场景下,对于数据根字段和解析路径有三种配置方案:
源端为MRS Kafka的配置与Kafka的类似,配置示例可参考Kafka配置示例。
- 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。