云服务器内容精选

华为云首页用户手册

创建数据集成任务（普通任务）

应用与数据集成平台 ROMA CONNECT-配置源端数据信息:自定义数据源

自定义数据源返回页首任务的“集成模式”为“定时”时，可以选择自定义数据源作为源端数据源。ROMA Connect通过标准RESTful API的方式与自定义数据源进行通信。在创建任务页面中配置源端信息。表32 源端自定义数据源信息参数配置说明源端实例选择当前正在使用的ROMA Connect实例。源端集成应用选择自定义数据源所属的集成应用，在接入数据源时已配置。源端数据类型选择具体自定义数据源类型。数据源名称选择接入数据源中已配置的自定义数据源。是否需要分页一次API请求可以返回多条数据，ROMA Connect向自定义数据源发送请求获取数据时，数据是否分页返回。分页表示所有满足条件的数据，按照每页固定的记录数进行分页，ROMA Connect每次获取一页数据，并通过多次请求获取所有数据。不分页则表示ROMA Connect通过一次API请求获取所有满足条件的数据。起始页仅当“是否需要分页”选择开启时需要配置。填写分页页码起始页，指第一页从0或者从1开始计数，请根据API的原始定义填写。单页大小仅当“是否需要分页”选择开启时需要配置。填写每页的最大数据记录数，请根据API的原始定义填写。是否增量迁移选择是否只集成指定时间段内的数据。首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。时区选择自定义数据源使用的时区，以便ROMA Connect识别数据的时间戳。数据起始时间仅当“是否增量迁移”选择开启时需要配置。首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。是否解析获取到的源端数据是否由ROMA Connect做进一步的数据解析。若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。元数据仅当“是否解析”选择“是”时需要配置。指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。别名：对元数据的自定义名称。类型：元数据的数据类型，需要与响应消息中对应参数的数据类型一致。解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。除了以上参数外，不同自定义数据源会定义不同的读端参数，请按照连接器原始定义规范填写。您可以在ROMA Connect控制台的“资产管理”页面中找到自定义数据源所使用的连接器，查看连接器的“读端参数定义”信息。元数据解析路径配置说明： JSON格式数据中不含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 以上面JSON格式数据中不含数组的样例为例，源端为自定义数据源的配置示例如下图所示，其中key为连机器中定义的读端参数。图21 自定义数据源配置示例完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

应用与数据集成平台 ROMA CONNECT 创建数据集成任务（普通任务）
应用与数据集成平台 ROMA CONNECT-配置源端数据信息:WebSocket

WebSocket 返回页首任务的“集成模式”为“实时”时，可以选择WebSocket作为源端数据源。在创建任务页面中配置源端信息。表31 源端WebSocket信息参数配置说明源端实例选择当前正在使用的ROMA Connect实例。源端集成应用选择WebSocket数据源所属的集成应用，在接入数据源时已配置。源端数据类型选择“WebSocket”。数据源名称选择接入数据源中已配置的WebSocket数据源。数据根字段指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据路径配置说明。是否启用心跳机制 ROMA Connect是否与WebSocket数据源之间启用心跳机制，确保连接的有效性。心跳消息内容仅当“是否启用心跳机制”选择“是”时需要配置。 ROMA Connect向WebSocket数据源发送的心跳包中携带的消息内容，自定义。发送心跳间隔(分钟) 仅当“是否启用心跳机制”选择“是”时需要配置。 ROMA Connect向WebSocket数据源发送心跳包的时间间隔。是否解析获取到的源端数据是否由ROMA Connect做进一步的数据解析。若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。元数据仅当“是否解析”选择“是”时需要配置。指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。别名：对元数据的自定义名称。类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。元数据解析路径配置说明： JSON格式数据中不含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案：数据根字段不设置元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 此场景下，对于数据根字段和解析路径有三种配置方案：数据根字段不设置元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。以上面JSON格式数据中不含数组的样例为例，源端为WebSocket的配置示例如下图所示。图20 WebSocket配置示例完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

应用与数据集成平台 ROMA CONNECT 创建数据集成任务（普通任务）
应用与数据集成平台 ROMA CONNECT-配置源端数据信息:SQL Server

SQL Server 返回页首任务的“集成模式”为“定时”时，可以选择SQL Server作为源端数据源。在创建任务页面中配置源端信息。表29 源端SQL Server信息参数配置说明源端实例选择当前正在使用的ROMA Connect实例。源端集成应用选择SQL Server数据源所属的集成应用，在接入数据源时已配置。源端数据类型选择“SQL Server”。数据源名称选择接入数据源中已配置的SQL Server数据源。插入SQL 选择是否使用SQL语句来获取源端数据。开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。源端表仅当“插入SQL”选择不开启时需要配置。选择SQL Server数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。按字段排序仅当“插入SQL”选择不开启时需要配置。要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。是否增量迁移选择是否只集成指定时间段内的数据。首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。时区仅当“是否增量迁移”选择开启时需要配置。选择SQL Server数据源使用的时区，以便ROMA Connect识别数据的时间戳。时间戳字段仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。时间戳初始值仅当“是否增量迁移”选择开启时需要配置。首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。重置迁移时间初始值该参数仅在编辑FDI任务时可配置。选择是否开启重置迁移时间初始值。开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。条件筛选仅当“插入SQL”选择不开启时需要配置。添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。扩展元数据仅当“插入SQL”选择不开启时需要配置。当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。字段名：选择源表中需要采集子元素的数据字段名称。类型：JSON格式字段值中，要采集的数据元素的数据类型。解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。扩展元数据解析路径配置说明： JSON格式数据中不含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。源端为SQL Server的配置与MySQL的类似，配置示例可参考MySQL配置示例。完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

应用与数据集成平台 ROMA CONNECT 创建数据集成任务（普通任务）
应用与数据集成平台 ROMA CONNECT-配置源端数据信息:GaussDB(for MySQL)

GaussDB (for MySQL) 返回页首任务的“集成模式”为“定时”时，可以选择GaussDB(for MySQL)作为源端数据源。在创建任务页面中配置源端信息。表30 源端GaussDB(for MySQL)信息参数配置说明源端实例选择当前正在使用的ROMA Connect实例。源端集成应用选择GaussDB(for MySQL)数据源所属的集成应用，在接入数据源时已配置。源端数据类型选择“GaussDB(for MySQL)”。数据源名称选择接入数据源中已配置的GaussDB(for MySQL)数据源。插入SQL 选择是否使用SQL语句来获取源端数据。开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。源端表仅当“插入SQL”选择不开启时需要配置。选择GaussDB(for MySQL)数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。按字段排序仅当“插入SQL”选择不开启时需要配置。要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。是否增量迁移选择是否只集成指定时间段内的数据。首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。时区仅当“是否增量迁移”选择开启时需要配置。选择GaussDB(for MySQL)数据源使用的时区，以便ROMA Connect识别数据的时间戳。时间戳字段仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。选择数据表中DATE类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件，该字段支持的最大精度为秒。时间戳初始值仅当“是否增量迁移”选择开启时需要配置。首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。重置迁移时间初始值该参数仅在编辑FDI任务时可配置。选择是否开启重置迁移时间初始值。开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。条件筛选仅当“插入SQL”选择不开启时需要配置。添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。扩展元数据仅当“插入SQL”选择不开启时需要配置。当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。字段名：选择源表中需要采集子元素的数据字段名称。类型：JSON格式字段值中，要采集的数据元素的数据类型。解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。扩展元数据解析路径配置说明： JSON格式数据中不含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。以上面JSON格式数据中含数组的样例为例，目标端为GaussDB(for MySQL)的配置示例如下所示。增量迁移配置示例，数据表中需包含DATE类型的字段，用作时间戳字段。图18 GaussDB(for MySQL)增量迁移配置示例扩展元数据配置示例，从数据表的desc字段中获取子元素c和d。图19 GaussDB(for MySQL)扩展元数据配置示例完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

应用与数据集成平台 ROMA CONNECT 创建数据集成任务（普通任务）
应用与数据集成平台 ROMA CONNECT-配置源端数据信息:SAP

SAP 返回页首任务的“集成模式”为“定时”时，可以选择SAP作为源端数据源。在创建任务页面中配置源端信息。表27 源端SAP信息参数配置说明源端实例选择当前正在使用的ROMA Connect实例。源端集成应用选择SAP数据源所属的集成应用，在接入数据源时已配置。源数据类型选择“SAP”。数据源名称选择接入数据源中已配置的SAP数据源。连接方式选择SAP数据源的连接方式，包含可用函数和表连接器两种方式。可用函数：指SAP数据源开放出来允许远程调用的函数。表连接器：通过连接器的形式连接SAP数据表。可用函数仅当“连接方式”选择“可用函数”时需要配置。单击“查询”，在“可用函数”弹窗中输入“函数名”和“组名”，查询并获取SAP数据源的可用函数列表，在“函数列表”处选择要使用的函数，然后单击“确定”。说明：在SAP数据源中只有开启了允许远程访问功能的函数，才能在ROMA Connect界面上查询。函数名与组名支持前缀匹配方式的模糊查询。查询函数仅当“连接方式”选择“表连接器”时需要配置。该字段表示用户自己定义的查询函数，用户可根据实际情况选择使用，一般情况下选默认函数。例如：/SAPDS/RFC_READ_TABLE2 须知： SAP不支持跨表查询，因为调用/SAPDS/RFC_READ_TABLE2函数只支持对单一表进行查询。源端表仅当“连接方式”选择“表连接器”时需要配置。选择源端的数据表。数据表选择后可单击“选择表字段”按钮，选择具体的表字段。字段分隔符仅当“连接方式”选择“表连接器”时需要配置。填写字段分隔符，用于分隔字段。分页大小仅当“连接方式”选择“表连接器”时需要配置。选择一次从SAP服务端读取的最大数据量，单位为万。须知：数值越大读取速度越快，但会存在内存溢出的风险，导致整个实例不可用。建议不做修改，如需修改请根据实际的业务量及实例规格谨慎设置。另外，请尽可能降低超过默认配置的任务并发运行数(建议不超过5个)，降低内存溢出风险。是否增量迁移仅当“连接方式”选择“表连接器”时需要配置。选择是否只集成指定时间段内的数据。首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。分区选项仅当“连接方式”选择“表连接器”时需要配置。提供对数据进行分区读取的操作，从而提高数据读取速度。分区支持按年、月、天分区读取数据，或者不分区读取。例如，当在要读取1号到30号的数据时，分区选择天，那么在读取数据时则按30天进行分区读取数据。说明：全量和增量迁移均支持分区配置。时区仅当“是否增量迁移”选择开启或者“分区选项”选择“年、月、天”时需要配置。选择SAP数据源使用的时区，以便ROMA Connect识别数据的时间戳。时间戳字段仅当“是否增量迁移”选择开启或者“分区选项”选择“年、月、天”时需要配置。选择数据表中DATE类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件，如果时间戳字段和时间戳初始值填写不完整，此任务默认为全量集成。须知： SAP不支持无时间戳字段的增量任务，即待抽取的表字段中需要有时间戳字段。时间戳初始值仅当“是否增量迁移”选择开启或者“分区选项”选择“年、月、天”时需要配置。首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。时间戳结束值仅当“是否增量迁移”选择开启时需要配置。选择要集成数据的结束时间，即只集成到该时间点的数据。时间格式仅当“是否增量迁移”选择开启或者“分区选项”选择“年、月、天”时需要配置。选择文件名中的时间格式，必须与“文件名前缀”配合使用，用于筛选要集成的数据文件。若只选择时间格式不填文件名前缀，则不会过滤文件。选了时间格式的话，则会将任务运行时的时间转换成选择的时间格式，与文件名前缀来共同过滤文件。例如，文件名前缀为test，时间格式为yyyyMMdd,任务运行时时间为2021-01-14 10:00:00，则任务运行只采集文件名以test20210114为前缀的文件。时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。为了避免源端生成数据时存在滞后，导致ROMA Connect查询源端增量数据出现遗漏，可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。例如，上一次增量迁移任务的结束时间是15:05，本次定时任务在17:00触发，时间补偿设为100ms，则本次增量迁移任务要集成数据的时间区间为“15:05~（17:00-100ms）”。条件筛选仅当“连接方式”选择“表连接器”时需要配置。添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。表类型请求参数配置说明：以如下请求参数结构为例进行说明，[]表示表类型数据，{}表示表中的一行数据。a参数表下有3行数据，每行数据中有2个参数。参数b的键为a[i].b，参数c的键为a[i].c。其中，i表示参数表第几行中的参数，0表示第一行，1表示第二行，以此类推。 a: [ { b: xx, c: xx }， { b: yy, c: yy }， { b: zz, c: zz }， ] 当选择可用函数后，请求参数处仅列出a数据表下第一行的参数，即a[0].b，a[0].c。若需要添加数据表中其他某一行的参数，应按顺序逐行添加，必须确保其前一行的参数已添加，不允许出现仅添加了1、3行的参数，未添加第2行参数的情况。例如上述样例中，要添加第二行的参数，则直接在a[0].c后添加a[1].b或a[1].c；要添加第三行的参数，则在a[0].c后先添加至少一个第二行的参数a[1].b或a[1].c，然后再添加第三行的参数a[2].b或a[2].c。不允许重复添加同一行数据中的同一个参数，否则会导致数据集成任务执行失败。完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

应用与数据集成平台 ROMA CONNECT 创建数据集成任务（普通任务）
应用与数据集成平台 ROMA CONNECT-配置源端数据信息:SNMP

SNMP 返回页首任务的“集成模式”为“定时”时，可以选择SNMP作为源端数据源。在创建任务页面中配置源端信息。表28 源端SNMP信息参数配置说明源端实例选择当前正在使用的ROMA Connect实例。源端集成应用选择SNMP数据源所属的集成应用，在接入数据源时已配置。源端数据类型选择“SNMP”。数据源名称选择接入数据源中已配置的SNMP数据源。数据模型选择SNMP数据源中的数据模型。 Row，表示按行的方式来解析SNMP数据。 Column，表示按列的方式来解析SNMP数据。对象标识符仅当“数据模型”选择“Column”时需要配置。填写SNMP消息中要获取对象的对象标识符（OID），多个对象标识符之间以英文逗号（,）分隔开。元数据指从源端获取到的SNMP消息数据中，要集成到目标端的对象（数据字段）。别名：对元数据的自定义名称。类型：元数据的数据类型。解析路径：元数据在SNMP消息中的对象标识符（OID）。仅当“数据模型”选择“Row”时需要配置。源端为SNMP的配置示例如下所示。数据模型为Row时，user为获取系统联系人信息，location为获取服务器所在位置信息。图16 数据模型为Row的配置示例数据模型为Column时，info为包含系统联系人信息和服务器所在位置信息的列。图17 数据模型为Column的配置示例完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

应用与数据集成平台 ROMA CONNECT 创建数据集成任务（普通任务）
应用与数据集成平台 ROMA CONNECT-配置源端数据信息:RocketMQ

RocketMQ 返回页首任务的“集成模式”为“实时”时，可以选择RocketMQ作为源端数据源。 RocketMQ的消费组为：任务ID+"_consumer_group"。在创建任务页面中配置源端信息。表26 源端RocketMQ信息参数配置说明源端实例选择当前正在使用的ROMA Connect实例。源端集成应用选择RocketMQ数据源所属的集成应用，在接入数据源时已配置。源端数据类型选择“RocketMQ”。数据源名称选择接入数据源中已配置的RocketMQ数据源。 Topic名称填写主题字符串/队列名称。是否解析获取到的源端数据是否由ROMA Connect做进一步的数据解析。若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。数据根字段仅当“是否解析”选择“是”时需要配置。指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。元数据仅当“是否解析”选择“是”时需要配置。指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。别名：对元数据的自定义名称。类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。元数据解析路径配置说明： JSON格式数据中不含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 源端为RocketMQ的配置示例如下图所示。图15 RocketMQ配置示例完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

应用与数据集成平台 ROMA CONNECT 创建数据集成任务（普通任务）
应用与数据集成平台 ROMA CONNECT-配置源端数据信息:RabbitMQ

RabbitMQ 返回页首任务的“集成模式”为“实时”时，可以选择RabbitMQ作为源端数据源。在创建任务页面中配置源端信息。表25 源端RabbitMQ信息参数配置说明源端实例选择当前正在使用的ROMA Connect实例。源端集成应用选择RabbitMQ数据源所属的集成应用，在接入数据源时已配置。源端数据类型选择“RabbitMQ”。数据源名称选择接入数据源中已配置的RabbitMQ数据源。是否创建新队列选择是否在源端RabbitMQ数据源创建一个新队列。选择是，表示创建一个新队列，并从该队列获取数据。选择否，表示从已有队列中获取数据。交换方式仅当“是否创建新队列”选择“是”时需要配置。选择RabbitMQ中交换器将消息转发到新队列的路由方式。 Direct：若消息的路由关键字与队列完全匹配，则消息会转发到队列。 Topic：若消息的路由关键字与队列模糊匹配，则消息会转发到队列。 Fanout：所有消息都会转发到队列。 Headers：若消息的Headers属性与队列完全匹配，则消息会转发到队列。交换机名称仅当“是否创建新队列”选择“是”时需要配置。填写RabbitMQ中新队列的交换器名称，自定义。路由关键字仅当“交换方式”选择“Direct”或“Topic”时需要配置。填写新队列的路由关键字，RabbitMQ把路由关键字作为判断条件，符合条件的消息将转发到新队列。消息参数仅当“交换方式”选择“Headers”时需要配置。填写新队列的Headers键值对，RabbitMQ把Headers作为判断条件，符合条件的消息将转发到新队列。队列名称填写要获取数据的消息队列名称。若“是否创建新队列”选择“是”，则自定义一个新的队列名称。若“是否创建新队列”选择“否”，则填写RabbitMQ数据源中已有队列的名称，并确保该队列已存在。自动删除当没有客户端连接队列时，队列是否自动删除。持久化队列中的消息是否持久化保存。是否解析获取到的源端数据是否由ROMA Connect做进一步的数据解析。若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。元数据仅当“是否解析”选择“是”时需要配置。指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。别名：对元数据的自定义名称。类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。元数据解析路径配置说明： JSON格式数据中不含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 以上面JSON格式数据中不含数组的样例为例，源端为RabbitMQ的配置示例如下图所示。图14 RabbitMQ配置示例完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

应用与数据集成平台 ROMA CONNECT 创建数据集成任务（普通任务）
应用与数据集成平台 ROMA CONNECT-配置源端数据信息:PostgreSQL

PostgreSQL 返回页首任务的“集成模式”为“定时”时，可以选择PostgreSQL作为源端数据源。在创建任务页面中配置源端信息。表24 源端PostgreSQL信息参数配置说明源端实例选择当前正在使用的ROMA Connect实例。源端集成应用选择PostgreSQL数据源所属的集成应用，在接入数据源时已配置。源端数据类型选择“PostgreSQL”。数据源名称选择接入数据源中已配置的PostgreSQL数据源。插入SQL 选择是否使用SQL语句来获取源端数据。开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。源端表仅当“插入SQL”选择不开启时需要配置。选择PostgreSQL数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。按字段排序仅当“插入SQL”选择不开启时需要配置。要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。是否增量迁移选择是否只集成指定时间段内的数据。首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。时区仅当“是否增量迁移”选择开启时需要配置。选择PostgreSQL数据源使用的时区，以便ROMA Connect识别数据的时间戳。时间戳字段仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。时间戳初始值仅当“是否增量迁移”选择开启时需要配置。首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。重置迁移时间初始值该参数仅在编辑FDI任务时可配置。选择是否开启重置迁移时间初始值。开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。条件筛选仅当“插入SQL”选择不开启时需要配置。添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。扩展元数据仅当“插入SQL”选择不开启时需要配置。当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。字段名：选择源表中需要采集子元素的数据字段名称。类型：JSON格式字段值中，要采集的数据元素的数据类型。解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。扩展元数据解析路径配置说明： JSON格式数据中不含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。源端为PostgreSQL的配置与MySQL的类似，配置示例可参考MySQL配置示例。完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

应用与数据集成平台 ROMA CONNECT 创建数据集成任务（普通任务）
应用与数据集成平台 ROMA CONNECT-配置源端数据信息:MRS Kafka

MRS Kafka 返回页首任务的“集成模式”为“实时”时，可以选择MRS Kafka作为源端数据源。在创建任务页面中配置源端信息。表21 源端MRS Kafka信息参数配置说明源端实例选择当前正在使用的ROMA Connect实例。源端集成应用选择MRS Kafka数据源所属的集成应用，在接入数据源时已配置。源端数据类型选择“MRS Kafka”。数据源名称选择接入数据源中已配置的MRS Kafka数据源。 Topic名称填写用户在MRS Kafka服务已创建的Topic，不可随意自定义。是否解析获取到的源端数据是否由ROMA Connect做进一步的数据解析。若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。数据根字段仅当“是否解析”选择“是”时需要配置。指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据路径配置说明。数据类型选择从MRS Kafka数据源获取的数据格式类型，需要与MRS Kafka实际存储的数据格式一致。当“是否解析”选择“是”时，可选择“JSON”、“XML”。当“是否解析”选择“否”时，可选择“JSON”、“XML”、“二进制文件”。消费偏移设置选择集成最早获取的消息数据还是最新获取的消息数据。元数据仅当“是否解析”选择“是”时需要配置。指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。别名：对元数据的自定义名称。类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。时区选择MRS Kafka数据源使用的时区，以便ROMA Connect识别数据的时间戳。元数据解析路径配置说明： JSON格式数据中不含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案：数据根字段不设置元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 此场景下，对于数据根字段和解析路径有三种配置方案：数据根字段不设置元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。源端为MRS Kafka的配置与Kafka的类似，配置示例可参考Kafka配置示例。完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

应用与数据集成平台 ROMA CONNECT 创建数据集成任务（普通任务）
应用与数据集成平台 ROMA CONNECT-配置源端数据信息:OBS

OBS 返回页首任务的“集成模式”为“定时”时，可以选择OBS（对象存储服务）作为源端数据源。在创建任务页面中配置源端信息。表22 源端OBS信息参数配置说明源端实例选择当前正在使用的ROMA Connect实例。源端集成应用选择OBS数据源所属的集成应用，在接入数据源时已配置。源端数据类型选择“OBS”。数据源名称选择接入数据源中已配置的OBS数据源。 Path 填写OBS数据源中，要获取数据文件所在的路径。Path的值不能以斜杠（/）结尾，不能设置为OBS桶的根目录。文件名前缀填写文件名前缀，与“时间格式”配合使用，用于筛选要集成的数据文件。时间格式选择文件名中的时间格式，与“文件名前缀”配合使用，用于筛选要集成的数据文件。是否解析获取到的源端数据是否由ROMA Connect做进一步的数据解析。若选择是，则ROMA Connect根据OBS默认的排列顺序对文件进行解析，默认时间最晚的文件最先解析，解析后再集成到目标端。若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。文件类型仅当“是否解析”选择“是”时需要配置。选择从OBS数据源获取的数据文件格式，文件格式支持“csv”、“txt”、“zip”、“xls”、“xlsx ”。字段分隔符仅当“是否解析”选择“是”时需要配置。填写数据文件中的字段分隔符，用于区分每行数据中的不同字段。编码方式仅当“是否解析”选择“是”时需要配置。选择从OBS数据源获取的数据文件编码方式，可选择“UTF-8”和“GBK”。是否跳过标题仅当“是否解析”选择“是”时需要配置。选择是否跳过数据文件中的标题行信息。标题为添加在文件中的首行或者开头若干行信息，帮助识别和区分文件内容。标题行数仅当“是否解析”选择“是”且“是否跳过标题”选择“是”时需要配置。填写数据文件中标题信息的行数，方便ROMA Connect识别文件中的数据起始行。元数据仅当“是否解析”选择“是”时需要配置。指从源端获取到的数据文件中，要集成到目标端的每一个数据字段。元数据必须按照文件中的字段顺序填写。别名：对元数据的自定义名称。类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。支持以下类型： String: 字符串类型。 Double: 浮点数类型。 Date: 日期时间类型。 Boolean: 布尔类型。 Long: 整数类型。若不确定具体的数据类型，可选择String类型。源端为OBS的配置示例如下图所示，id、name和info为从OBS数据源获取，并要集成到目标端的数据字段。图13 OBS配置示例完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

应用与数据集成平台 ROMA CONNECT 创建数据集成任务（普通任务）
应用与数据集成平台 ROMA CONNECT-配置源端数据信息:Oracle

Oracle 返回页首任务的“集成模式”为“定时”时，可以选择Oracle作为源端数据源。在创建任务页面中配置源端信息。表23 源端Oracle信息参数配置说明源端实例选择当前正在使用的ROMA Connect实例。源端集成应用选择Oracle数据源所属的集成应用，在接入数据源时已配置。源端数据类型选择“Oracle”。数据源名称选择接入数据源中已配置的Oracle数据源。插入SQL 选择是否使用SQL语句来获取源端数据。开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。源端表仅当“插入SQL”选择不开启时需要配置。选择Oracle数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。按字段排序仅当“插入SQL”选择不开启时需要配置。要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。是否增量迁移选择是否只集成指定时间段内的数据。首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。时区仅当“是否增量迁移”选择开启时需要配置。选择Oracle数据源使用的时区，以便ROMA Connect识别数据的时间戳。时间戳字段仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。时间戳初始值仅当“是否增量迁移”选择开启时需要配置。首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。重置迁移时间初始值该参数仅在编辑FDI任务时可配置。选择是否开启重置迁移时间初始值。开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。条件筛选仅当“插入SQL”选择不开启时需要配置。添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。扩展元数据仅当“插入SQL”选择不开启时需要配置。当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。字段名：选择源表中需要采集子元素的数据字段名称。类型：JSON格式字段值中，要采集的数据元素的数据类型。解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。扩展元数据解析路径配置说明： JSON格式数据中不含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。源端为Oracle的配置与MySQL的类似，配置示例可参考MySQL配置示例。完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

应用与数据集成平台 ROMA CONNECT 创建数据集成任务（普通任务）
应用与数据集成平台 ROMA CONNECT-配置源端数据信息:MRS Hive

MRS Hive 返回页首任务的“集成模式”为“定时”时，可以选择MRS Hive作为源端数据源。在创建任务页面中配置源端信息。表18 源端MRS Hive信息参数配置说明源端实例选择当前正在使用的ROMA Connect实例。源端集成应用选择MRS Hive数据源所属的集成应用，在接入数据源时已配置。源端数据类型选择“MRS Hive”。数据源名称选择接入数据源中已配置的MRS Hive数据源。源端数据库名选择MRS Hive数据源中要获取数据的数据库。说明：需要使用自建的数据库，不能使用MRS Hive自带的default数据库。源端表选择MRS Hive数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。是否增量迁移选择是否只集成指定时间段内的数据。首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。时间戳字段仅当“是否增量迁移”选择开启时需要配置。选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。时区仅当“是否增量迁移”选择开启时需要配置。选择MRS Hive数据源使用的时区，以便ROMA Connect识别数据的时间戳。时间戳初始值仅当“是否增量迁移”选择开启时需要配置。首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。重置迁移时间初始值该参数仅在编辑FDI任务时可配置。选择是否开启重置迁移时间初始值。开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。为了避免源端生成数据时存在滞后，导致ROMA Connect查询源端增量数据出现遗漏，可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。例如，上一次增量迁移任务的结束时间是15:05，本次定时任务在17:00触发，时间补偿设为100ms，则本次增量迁移任务要集成数据的时间区间为“15:05~（17:00-100ms）”。条件筛选添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。源端为MRS Hive的配置与MySQL的类似，配置示例可参考MySQL配置示例。完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

应用与数据集成平台 ROMA CONNECT 创建数据集成任务（普通任务）
应用与数据集成平台 ROMA CONNECT-配置源端数据信息:MRS HDFS

MRS HDFS 返回页首任务的“集成模式”为“定时”时，可以选择MRS HDFS作为源端数据源。在创建任务页面中配置源端信息。表19 源端MRS HDFS信息参数配置说明源端实例选择当前正在使用的ROMA Connect实例。源端集成应用选择MRS HDFS数据源所属的集成应用，在接入数据源时已配置。源端数据类型选择“MRS HDFS”。数据源名称选择接入数据源中已配置的MRS HDFS数据源。分隔符填写MRS HDFS数据源中文本数据的字段分隔符，用于区分每行数据中的不同字段。存储子路径在MRS HDFS的“hdfs:///hacluster”路径下，要集成数据的存储路径。存储块大小(M) ROMA Connect从MRS HDFS数据源获取数据时，每次读取的数据大小。存储类型选择MRS HDFS数据源中数据的存储类型，需要与MRS HDFS实际的数据存储类型一致。当前可选择“文本文件”。是否解析获取到的源端数据是否由ROMA Connect做进一步的数据解析。若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。元数据仅当“是否解析”选择“是”时需要配置。指从源端获取到的文本数据中，要集成到目标端的每一个数据字段。元数据必须按照文件中的字段顺序填写。别名：对元数据的自定义名称。类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。源端为MRS HDFS的配置示例如下图所示，id、name和info为从MRS HDFS数据源获取，并要集成到目标端的数据字段。图12 MRS HDFS配置示例完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

应用与数据集成平台 ROMA CONNECT 创建数据集成任务（普通任务）
应用与数据集成平台 ROMA CONNECT-配置源端数据信息:MRS HBase

MRS HBase 返回页首任务的“集成模式”为“定时”时，可以选择MRS HBase作为源端数据源。在创建任务页面中配置源端信息。表20 源端MRS HBase信息参数配置说明源端实例选择当前正在使用的ROMA Connect实例。源端集成应用选择MRS HBase数据源所属的集成应用，在接入数据源时已配置。源端数据类型选择“MRS HBase”。数据源名称选择接入数据源中已配置的MRS HBase数据源。源端表选择MRS HBase数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

应用与数据集成平台 ROMA CONNECT 创建数据集成任务（普通任务）