华为云用户手册

导入资产 在实例控制台的“实例信息”页面，单击右上角的“导入资产”。 在“导入资产”弹窗中根据实际情况选择“新增导入”或“覆盖导入”。 不同实例的数据源ID不可以相同，如含有相同ID的数据源，请选择覆盖导入。 当选择“覆盖导入”时，根据是否需要覆盖环境配置选择“覆盖”或“不覆盖”。 覆盖：当导入的数据源存在同名数据源时，选择更新数据源。 不覆盖：当导入的数据源存在同名数据源时，不做更新。 输入前缀。 同一实例的数据集成任务名不可以重复，如含有相同名称的FDI任务，请输入前缀。 在弹窗中选择本地保存的资产文件，并导入。 完成后单击“关闭”，您可以在实例中查看已导入的资产。 自定义认证名称全局唯一，若导入资产时实例中已有相同名称的自定义认证，会在新导入的自定义认证名称后添加随机字符，避免重名。 若导入资产时出现以下报错信息，请联系技术支持升级实例。 "CipherEntry":{"reason":"{\"resourceType\":\"cipherEntries\",\"resourceId\":\"\",\"resourceName\":null,\"errorCode\":\"APIG.9999\",\"errorMsg\":\"System error\"}"}

导出资产 在实例控制台的“实例信息”页面，单击右上角的“导出资产”。 导出资产。 导出指定资产：勾选您想要导出的应用和任务资产，然后单击“导出已选”，导出资产文件到本地。 导出全部资产：单击“导出全部资产”，导出资产文件到本地。 导出应用资产时，如果需要导出所有API资产信息，可勾选“是否导出应用中的所有API资产信息”按钮，所有API资产信息包括自有API和授权API。不勾选时，导出自有API和自有授权API信息。 完成后单击“关闭”，您可以在本地查看已导出的资产。

前提条件 资产导入功能仅支持集成资产数据导入，不支持资产相关的实例配置数据导入。在完成集成资产的导入后，还需要完成资产相关的实例配置，具体配置说明和配置指导请参见恢复/迁移集成资产。 资产导入时，需要保证资产导入和导出的实例配置相同，否则会导致资产导入失败。例如：app_route开启后不允许API之间存在路径冲突，若导出的实例未开启app_route，导入的实例开启了app_route，如果导入资产包中存在路径冲突的API，则资产无法导入。 不支持导入导出API的流量控制策略、访问控制策略和签名密钥。 若导入的资产中含有后端类型为FunctionGraph的API，需确保当前用户账号下FunctionGraph的函数版本或别名与资产包中的相同。 导入资产时，当应用A存在API定时任务且此任务调用应用B的API时，此时会导入失败。导入时可先导入应用B的资产，再导入应用A的资产即可解决。

RabbitMQ 返回页首 任务的“集成模式”为“实时”时，可以选择RabbitMQ作为源端数据源，具体配置如下。 表12 源端RabbitMQ信息 参数 配置说明 是否创建新队列 选择是否在源端RabbitMQ数据源创建一个新队列。 选择是，表示创建一个新队列，并从该队列获取数据。 选择否，表示从已有队列中获取数据。 交换方式 仅当“是否创建新队列”选择“是”时需要配置。 选择RabbitMQ中交换器将消息转发到新队列的路由方式。 Direct：若消息的路由关键字与队列完全匹配，则消息会转发到队列。 Topic：若消息的路由关键字与队列模糊匹配，则消息会转发到队列。 Fanout：所有消息都会转发到队列。 Headers：若消息的Headers属性与队列完全匹配，则消息会转发到队列。 交换机名称 仅当“是否创建新队列”选择“是”时需要配置。 填写RabbitMQ中新队列的交换器名称，自定义。 路由关键字 仅当“交换方式”选择“Direct”或“Topic”时需要配置。 填写新队列的路由关键字，RabbitMQ把路由关键字作为判断条件，符合条件的消息将转发到新队列。 消息参数 仅当“交换方式”选择“Headers”时需要配置。 填写新队列的Headers键值对，RabbitMQ把Headers作为判断条件，符合条件的消息将转发到新队列。 队列名称 填写要获取数据的消息队列名称。 若“是否创建新队列”选择“是”，则自定义一个新的队列名称。 若“是否创建新队列”选择“否”，则填写RabbitMQ数据源中已有队列的名称，并确保该队列已存在。 自动删除 当没有客户端连接队列时，队列是否自动删除。 持久化 队列中的消息是否持久化保存。 元数据 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } }} JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] }} 以上面JSON格式数据中不含数组的样例为例，源端为RabbitMQ的配置示例如下图所示。 图9 RabbitMQ配置示例

Oracle 返回页首 任务的“集成模式”为“定时”时，可以选择Oracle作为源端数据源，具体配置如下。 表10 源端Oracle信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择Oracle数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择Oracle数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后，导致ROMA Connect查询源端增量数据出现遗漏，可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如，上一次增量迁移任务的结束时间是15:05，本次定时任务在17:00触发，时间补偿设为100ms，则本次增量迁移任务要集成数据的时间区间为“15:05~（17:00-100ms）”。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。 类型：JSON格式字段值中，要采集的数据元素的数据类型。 解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } }} JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] }} 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为Oracle的配置与MySQL的类似，配置示例可参考MySQL配置示例。

PostgreSQL 返回页首 任务的“集成模式”为“定时”时，可以选择PostgreSQL作为源端数据源，具体配置如下。 表11 源端PostgreSQL信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择PostgreSQL数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择PostgreSQL数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后，导致ROMA Connect查询源端增量数据出现遗漏，可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如，上一次增量迁移任务的结束时间是15:05，本次定时任务在17:00触发，时间补偿设为100ms，则本次增量迁移任务要集成数据的时间区间为“15:05~（17:00-100ms）”。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。 类型：JSON格式字段值中，要采集的数据元素的数据类型。 解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } }} JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] }} 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为PostgreSQL的配置与MySQL的类似，配置示例可参考MySQL配置示例。

SQL Server 返回页首 任务的“集成模式”为“定时”时，可以选择SQL Server作为源端数据源，具体配置如下。 表13 源端SQL Server信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择SQL Server数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择SQL Server数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后，导致ROMA Connect查询源端增量数据出现遗漏，可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如，上一次增量迁移任务的结束时间是15:05，本次定时任务在17:00触发，时间补偿设为100ms，则本次增量迁移任务要集成数据的时间区间为“15:05~（17:00-100ms）”。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。 类型：JSON格式字段值中，要采集的数据元素的数据类型。 解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } }} JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] }} 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为SQL Server的配置与MySQL的类似，配置示例可参考MySQL配置示例。

OBS 返回页首 任务的“集成模式”为“定时”时，可以选择OBS（ 对象存储服务 ）作为源端数据源，具体配置如下。 表9 源端OBS信息 参数 配置说明 Path 填写OBS数据源中，要获取数据所在的对象名。Path的值不能以斜杠（/）结尾。 文件名前缀 填写文件名前缀，与“时间格式”配合使用，用于筛选要集成的数据文件。 时间格式 选择文件名中的时间格式，与“文件名前缀”配合使用，用于筛选要集成的数据文件。 文件类型 选择从OBS数据源获取的数据文件格式，可选择“txt”，“csv”和“zip”。 字段分隔符 填写数据文件中的字段分隔符，用于区分每行数据中的不同字段。 编码方式 选择从OBS数据源获取的数据文件编码方式，可选择“UTF-8”和“GBK”。 是否跳过标题 选择是否跳过数据文件中的标题行信息。标题为添加在文件中的首行或者开头若干行信息，帮助识别和区分文件内容。 标题行数 填写数据文件中标题信息的行数，方便ROMA Connect识别文件中的数据起始行。 元数据 指从源端获取到的数据文件中，要集成到目标端的每一个数据字段。元数据必须按照文件中的字段顺序填写。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 源端为OBS的配置示例如下图所示，id、name和info为从OBS数据源获取，并要集成到目标端的数据字段。 图8 OBS配置示例

Kafka 返回页首 任务的“集成模式”为“实时”时，可以选择Kafka作为源端数据源，具体配置如下。 表6 源端Kafka信息 参数 配置说明 Topic名称 选择要获取数据的Topic名称。 数据根字段 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。 数据类型 选择从Kafka数据源获取的数据格式类型，需要与Kafka实际存储的数据格式一致，可选择格式为“JSON”。 消费偏移设置 选择集成最早获取的消息数据还是最新获取的消息数据。 时区 选择Kafka数据源使用的时区，以便ROMA Connect识别数据的时间戳。 元数据 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } }} 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] }} 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 以上面JSON格式数据中不含数组的样例为例，源端为Kafka的配置示例如下图所示。 图5 Kafka配置示例

MongoDB 返回页首 任务的“集成模式”为“定时”时，可以选择MongoDB作为源端数据源，具体配置如下。 表8 源端MongoDB信息 参数 配置说明 源表 选择MongoDB数据源中要获取数据的数据集合（数据集合相当于关系型数据库的数据表）。选择数据集合后，单击“选择集合字段”，可以选择只需要集成的数据列字段。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时间戳字段 仅当“是否增量迁移”选择开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择MongoDB数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后，导致ROMA Connect查询源端增量数据出现遗漏，可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如，上一次增量迁移任务的结束时间是15:05，本次定时任务在17:00触发，时间补偿设为100ms，则本次增量迁移任务要集成数据的时间区间为“15:05~（17:00-100ms）”。 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为MongoDB的配置与MySQL的类似，配置示例可参考MySQL配置示例。

MySQL 返回页首 任务的“集成模式”为“定时”时，可以选择MySQL作为源端数据源，具体配置如下。 表7 源端MySQL信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择MySQL数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择MySQL数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 用于校验数据行是否符合数据集成条件，请选择一个“DATE”类型的字段。如果时间戳字段和时间戳初始值填写不完整，此任务默认为全量集成。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后，导致ROMA Connect查询源端增量数据出现遗漏，可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如，上一次增量迁移任务的结束时间是15:05，本次定时任务在17:00触发，时间补偿设为100ms，则本次增量迁移任务要集成数据的时间区间为“15:05~（17:00-100ms）”。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。 类型：JSON格式字段值中，要采集的数据元素的数据类型。 解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } }} JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] }} 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 以上面JSON格式数据中含数组的样例为例，目标端为MySQL的配置示例如下所示。 增量迁移配置示例，数据表中需包含DATE、TIME或TIMESTAMP类型的字段，用作时间戳字段。 图6 MySQL增量迁移配置示例 扩展元数据配置示例，从数据表的desc字段中获取子元素c和d。 图7 MySQL扩展元数据配置示例

ActiveMQ 返回页首 任务的“集成模式”为“实时”时，可以选择ActiveMQ作为源端数据源，具体配置如下。 表2 源端ActiveMQ信息 参数 配置说明 目标端类型 选择ActiveMQ数据源的消息传递模型，支持“Topic”和“Queue”两种消息传递模型。 目标端名称 填写要获取数据的Topic或Queue名称，请确保该Topic或Queue已存在。 数据根字段 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } }} 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] }} 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 以上面JSON格式数据中不含数组的样例为例，源端为ActiveMQ的配置示例如下图所示。 图4 ActiveMQ配置示例

ArtemisMQ 返回页首 任务的“集成模式”为“实时”时，可以选择ArtemisMQ作为源端数据源。 在创建任务页面中配置源端信息。 表3 源端ArtemisMQ信息 参数 配置说明 目标端类型 选择ArtemisMQ数据源的消息传递模型，可选择“Topic”和“Queue”。 目标端名称 填写要获取数据的Topic或Queue名称，请确保该Topic或Queue已存在。 数据根字段 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } }} 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] }} 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 源端为ArtemisMQ的配置与ActiveMQ的类似，配置示例可参考ActiveMQ配置示例。

DWS 返回页首 任务的“集成模式”为“定时”时，可以选择DWS（ 数据仓库 服务）作为源端数据源，具体配置如下。 表5 源端DWS信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如：语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择DWS数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择DWS数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 选择数据表中“DATE”类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后，导致ROMA Connect查询源端增量数据出现遗漏，可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如：上一次增量迁移任务的结束时间是15:05，本次定时任务在17:00触发，时间补偿设为100ms，则本次增量迁移任务要集成数据的时间区间为“15:05~（17:00-100ms）”。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如：条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。 类型：JSON格式字段值中，要采集的数据元素的数据类型。 解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } }} JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] }} 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为DWS的配置与MySQL的类似，配置示例可参考MySQL配置示例。

DB2 返回页首 任务的“集成模式”为“定时”时，可以选择DB2作为源端数据源，具体配置如下。 表4 源端DB2信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择DB2数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以只选择需要集成的数据列字段，例如：ID。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 配置要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择DB2数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 用于校验数据行是否符合增量集成条件，请选择一个“DATE”类型的字段。如果时间戳字段和时间戳初始值填写不完整，此任务默认为全量集成。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后，导致ROMA Connect查询源端增量数据出现遗漏，可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如：上一次增量迁移任务的结束时间是15:05，本次定时任务在17:00触发，时间补偿设为100ms，则本次增量迁移任务要集成数据的时间区间为“15:05~（17:00-100ms）”。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如：条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。 类型：JSON格式字段值中，要采集的数据元素的数据类型。 解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } }} JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] }} 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为DB2的配置与MySQL的类似，配置示例可参考MySQL配置示例。

概述 本节主要介绍编排任务连接后的连接配置。提供了编排任务源端信息的配置说明。源端信息用于告诉ROMA Connect如何从源端获取待集成的数据，包括数据源、数据格式、数据范围等。对于不同的数据源类型，其源端信息配置有所差异。 支持“定时”模式的源端数据类型 支持“实时”模式的源端数据类型 API DB2 DWS MySQL MongoDB OBS Oracle PostgreSQL SQL Server ActiveMQ ArtemisMQ Kafka RabbitMQ

概述 在开放API前，您需要为API分组绑定独立 域名 ，用户通过独立域名访问分组内的API。 独立域名可分为内网域名和公网域名两种： 内网域名：部署在云服务平台内的业务系统，可以使用内网域名访问API。 公网域名：部署在云服务平台外的业务系统，可以使用公网域名访问API。 您也可以使用系统分配的默认子域名访问API分组内的API，该子域名唯一且不可修改，每天最多可以访问1000次，仅适用于内部测试使用。 Site实例不支持使用子域名调用API，仅支持使用IP+Host头方式调用API。

获取域名 云服务平台内业务系统访问API的场景，需获取内网域名作为独立域名。 申请内网域名，具体请参考创建内网域名。 配置域名到“服务集成APIC 连接地址”的A类型记录集配置，具体请参考增加A类型记录集。 如果API分组中的API支持HTTPS请求协议，则需要为独立域名添加SSL证书。您需要提前获取SSL证书的内容和密钥，并创建SSL证书。 云服务平台外业务系统访问API的场景，需获取公网域名作为独立域名。 申请公网域名，具体可通过 域名注册服务 申请。 备案公网域名，您可以通过备案中心完成域名备案。备案时长需几个工作日，建议您提前进行备案。 配置域名到API分组子域名的CNAME类型记录集配置，具体请参考增加CNAME类型记录集。 如果API分组中的API支持HTTPS请求协议，则需要为独立域名添加SSL证书。您需要提前获取SSL证书的内容和密钥，并创建SSL证书。

配置参数说明 表1 配置参数 参数 配置说明 策略基本信息 Broker地址 日志要推送的目标Kafka连接地址列表，多个地址间以英文逗号（,）隔开。 Topic主题 日志要推送的目标Kafka Topic名称。 Key 填写消息的Key值，表示消息存储在Kafka的指定分区，可以当成有序消息队列使用。如果Key为空，则消息分布式存储在不同的消息分区。 失败重试配置 日志推送到Kafka失败后的重试配置。 重试次数：失败后的重试次数，范围为0-5次。 重试间隔：失败后的重试时间间隔，范围为1-10秒。 SASL配置信息 安全协议 连接目标Kafka所使用的安全协议。 PLAINTEXT：默认接入点的用户认证协议。 SASL_PLAINTEXT：SASL用户认证协议。 SASL_SSL：SSL用户认证协议。 消息收发机制 目标Kafka的消息收发的机制，默认为PLAIN。 SASL用户名 仅当“安全协议”选择“SASL_PLAINTEXT”或“SASL_SSL”时需配置。 SASL或SSL认证所使用的用户名。 SASL用户密码 仅当“安全协议”选择“SASL_PLAINTEXT”或“SASL_SSL”时需配置。 SASL或SSL认证所使用的用户密码。 证书内容 仅当“安全协议”选择“SASL_SSL”时需配置。 SSL认证所使用的CA证书内容。 元数据配置信息 系统元数据 推送的日志中，需要携带的系统字段信息。 其中，start_time、request_id、client_ip、request_time、http_status、scheme、request_method、host、uri、upstream_addr、upstream_status、upstream_response_time、http_x_forwarded_for、http_user_agent和error_type字段信息默认在日志中携带，其他系统字段需勾选后才携带。 请求数据 推送的日志中，需要携带的API请求信息。 日志包含请求头域信息：勾选后，需填写日志中要携带的请求Header参数。多个字段间使用英文逗号（,）分隔，支持使用*进行通配设置。 日志包含请求QueryString信息：勾选后，需填写日志中要携带的请求Query参数信息。多个字段间使用英文逗号（,）分隔，支持使用*进行通配设置。 日志包含请求Body体信息：勾选后，日志中会携带API请求的Body体信息。 响应数据 推送的日志中，需要携带的API响应信息。 日志包含响应头域信息：勾选后，需填写日志中要携带的响应Header参数。多个字段间使用英文逗号（,）分隔，支持使用*进行通配设置。 日志包含响应Body体信息：勾选后，日志中会携带响应Body体信息。 自定义认证配置 推送的日志中，需要携带的自定义认证信息。 前端：填写日志中要携带的前端自定义认证的响应字段信息，多个字段间使用英文逗号（,）分隔。 后端：填写日志中要携带的后端自定义认证的响应字段信息，多个字段间使用英文逗号（,）分隔。

使用限制 同一个API在同一个环境中只能绑定一个相同类型的插件策略，已被API绑定的插件策略无法删除。 同一个ROMA Connect实例内最多可创建5个Kafka日志推送插件。 推送的日志信息中，响应数据暂不支持Transfer Encoding响应头参数。 默认支持推送的最大日志大小为4K，超出的日志部分会被截断。 推送的日志信息中，请求Body和响应Body信息是按UTF-8编码方式计算字节长度。

概述 ROMA Connect提供了常见的数据源连接支持，如关系型数据库、消息队列、API、NoSQL、对象存储等，这些数据源可以直接在ROMA Connect中使用，您只需要接入数据源，创建并启动数据集成任务，就可以将您的源端数据集成到目标端。 如果ROMA Connect支持的数据源类型无法接入您使用的数据源，您可以自行开发一个数据源插件，用于实现对数据源的读写。同时，这个数据源插件以标准RESTful接口形式供ROMA Connect接入，最终实现ROMA Connect对数据源的读写。这个数据源插件称为连接器，这类通过连接器接入的数据源称为自定义数据源。 连接器可以直连数据源，是数据源与ROMA Connect的数据交换通道。ROMA Connect对数据源的读写请求，通过调用连接器开放标准的RESTful接口完成。 在完成连接器的开发和部署后，您需要在ROMA Connect上创建连接器，定义连接器的对接参数。

操作步骤 登录ROMA Connect控制台，在左侧的导航栏选择“资产管理”。 单击页面右上角的“创建连接器”。 在创建连接器页面中填写连接器的相关配置信息。 表1 连接器配置 参数 配置说明 连接器名称 填写连接器的名称，根据规划自定义。建议您按照一定的命名规则填写连接器名称，方便您快速识别和查找。 类型 选择连接器操作数据的权限类型。 读写：连接器可对数据源进行读写操作。 读：连接器仅可对数据源进行读操作。 写：连接器仅可对数据源进行写操作。 描述 填写连接器的描述信息。 数据源定义 定义数据源的接入参数。在配置ROMA Connect接入该数据源时，需要配置此处定义的接入参数。ROMA Connect与连接器间交互的消息数据为JSON格式，参数以Key-Value形式传递。 单击“添加参数”，添加数据源的接入参数。 参数名称：参数在数据源接入配置界面的显示名称，仅用于识别参数，在实际数据集成任务中不产生作用。 参数键：数据源接入请求中传递的参数Key。 参数值类型：参数值在数据源接入配置界面的配置样式。 Text：字符输入框。 Select：下拉选择框。 Date：日期控件，可选择日期与时间。 Textarea：字符输入框，可换行。 校验规则：是否对输入的参数值进行校验。 无：不校验。 不允许有特殊字符：校验参数值是否有特殊字符，约定字符范围包含数字、字母、中划线、下划线。 默认值：参数值如果没有填写时，是否传递一个默认值，置空则表示不传递默认值。 是否必填：参数是否必须填写。 读端参数定义 定义数据源的读端参数，在数据集成任务的源端选择该数据源时，需要配置此处定义的读端参数。ROMA Connect与连接器间交互的消息数据为JSON格式，参数以Key-Value形式传递。 单击“添加参数”，添加数据源的读端参数，具体的参数配置说明与“数据源定义”类似。 写端参数定义 定义数据源的写端参数，在数据集成任务的目标端选择该数据源时，需要配置此处定义的写端参数。ROMA Connect与连接器间交互的消息数据为JSON格式，参数以Key-Value形式传递。 单击“添加参数”，添加数据源的写端参数，具体的参数配置说明与“数据源定义”类似。 图1 连接器参数定义示例 完成后单击“创建”，完成连接器的创建。

附录：API错误码 用户调用API失败时，系统返回的错误码如下所示。 表1 错误码 HTTP状态码 错误码 错误描述 解决方案 404 APIC.0101 The API does not exist or has not been published in the environment. 检查域名、方法、路径和注册的API是否一致。 检查API是否发布，如果发布到非生产环境，检查请求X-Stage头是否为发布的环境名。 500 APIC.0103 The backend does not exist. 联系技术支持。 500 APIC.0104 The plug-ins do not exist. 联系技术支持。 500 APIC.0105 The backend configurations do not exist. 联系技术支持。 400 APIC.0106 Orchestration error. 检查API配置的前后端参数是否合理。 400 APIC.0201 Bad request. 使用合法的请求。 413 APIC.0201 Request entity too large. 减小请求body大小，小于12M。 414 APIC.0201 Request URI too large. 减小请求URI大小，小于32K。 494 APIC.0201 Request headers too large. 减小请求头大小，单个请求头小于32K或所有请求头总长度小于128K。 502 APIC.0202 Backend unavailable. 检查API配置的后端地址是否可用。 504 APIC.0203 Backend timeout. 增大超时时间或缩小后端的处理时间。 401 APIC.0301 Incorrect IAM authentication information. 检查token是否正确。 403 APIC.0302 The IAM user is not authorized to access the API. 检查用户是否被黑白名单限制。 401 APIC.0303 Incorrect App authentication information. 检查请求的方法、路径、查询参数、请求体和签名使用的方法、路径、查询参数、请求体是否一致。 检查客户端机器时间是否正确。 403 APIC.0304 The app is not authorized to access the API. 检查APP是否授权访问API。 401 APIC.0305 Incorrect authentication information. 检查认证信息是否正确。 403 APIC.0306 API access denied. 检查是否授权访问API。 401 APIC.0307 The token must be updated. token需要更新。 429 APIC.0308 The throttling threshold has been reached. 等待流控时间结束后再访问API，或修改流控限制值。 403 APIC.0401 Unknown client IP address. 联系技术支持。 403 APIC.0402 The IP address is not authorized to access the API. 检查IP地址是否被黑白名单限制。 503 APIC.0404 Access to the backend IP address has been denied. 使用可用的IP地址访问后端服务。 403 APIC.0405 The app is not accessed from a trusted IP address. 检查IP地址是否被客户端访问控制策略限制。 500 APIC.0601 Internal server error. 联系技术支持。 400 APIC.0602 Bad request. 检查请求是否合法。 500 APIC.0605 Backend domain name resolution failed. 检查域名拼写，以及域名是否绑定了正确的后端地址。 500 APIC.0606 Failed to load the API configurations. 联系技术支持。 400 APIC.0607 The following protocol is supported: {xxx} 改用支持的协议（HTTP/HTTPS）访问。 500 APIC.0608 Failed to obtain the admin token. 联系技术支持。 500 APIC.0609 The VPC backend does not exist. 联系技术支持。 502 APIC.0610 No backend available. 检查所有后端是否可用。 500 APIC.0611 The backend port does not exist. 联系技术支持。 500 APIC.0612 An API cannot call itself. 修改API后端配置，递归调用层数不能超过10层。 500 APIC.0705 Backend signature calculation failed. 联系技术支持。 父主题： 调用API

概述 ROMA Connect通过创建负载通道，可访问指定服务器中已部署的后端服务，并实现后端服务访问的负载均衡功能。ROMA Connect的负载通道可直接访问同一VPC内的弹性云服务器（E CS ），也可以通过IP访问其他VPC内的ECS和私有服务器。 例如，VPC中包含6台ECS，ROMA Connect已创建一条负载通道，并把ECS 01和ECS 04已添加到负载通道中，此时ROMA Connect通过负载通道可以直接访问VPC中的ECS 01和ECS 04。 图1 访问负载通道中的ECS

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“IBM MQ”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写IBM MQ的连接IP地址和端口号。 队列管理器 填写IBM MQ队列管理器的名称。 字符集标识 填写IBM MQ队列管理器的编码字符集标识。 通道名称 填写连接IBM MQ队列管理器所使用的通道名称。 用户名 填写连接IBM MQ的用户名。 密码 填写连接IBM MQ的用户密码。 是否开启SSL认证 ROMA Connect与IBM MQ的连接是否使用SSL认证加密。 密钥算法套件 仅当“是否开启SSL认证”选择“是”时需要配置。 填写“通道名称”所指队列管理器通道中，使用的密钥算法套件名称。 公钥库文件 仅当“是否开启SSL认证”选择“是”时需要配置。 SSL认证过程中，客户端（ROMA Connect）使用的公钥库文件，与服务端（IBM MQ）使用的私钥相匹配。 公钥库密码 仅当“是否开启SSL认证”选择“是”时需要配置。 公钥库文件对应的密码。 以开启SSL认证为例，需要上传公钥库文件，数据源的接入配置示例如下图所示。 图1 IBM MQ数据源配置示例 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。

操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“HIVE”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择数据库的连接方式。 默认：使用系统默认方式连接数据库。 专业：使用JDBC方式连接数据库。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写HIVE的JDBC格式连接串，例如：jdbc:hive2://{hostname}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 HIVE数据源的接入配置与DB2的类似，配置示例可参考DB2数据源接入配置示例。 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功！”，则继续下一步。 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。 单击“创建”，完成数据源的接入。

功能介绍 产品创建后，用户可根据实际需要参考下表查看、编辑产品。 表1 功能介绍 功能 功能说明 查看密码 产品密码可以作为访问产品所属的设备的凭证，实现一个产品下所有设备使用一个密码。 用户可单击对应产品下密码栏右侧的图标，查看密码。 导入 如果本地已存在文件，可以直接在“产品”页签单击“导入”，即可导入包含产品信息的文件。 文件模板获取方式：在界面创建一个产品，选中该产品，单击导出键导出csv文件，根据需要导入的产品修改csv文件的内容。 导出/导出所有产品 导出单个或多个产品信息的csv文件。 如果导出单个或多个产品，可勾选需要导出的产品，单击“导出”按钮即可；如果导出所有产品，直接单击“导出所有产品”即可。 重置密码 如果需要修改密码，可单击对应产品右侧操作栏中的“重置密码”按钮。 编辑 在需要编辑的产品右侧操作栏中单击“编辑”，即可编辑产品信息。其中产品类型、协议类型以及应用不支持修改。 删除 删除已创建好的产品。支持单个或多个删除。 删除单个或多个产品，可勾选需要删除的产品，单击“删除”按钮即可；删除单个产品也可直接单击对应产品操作栏的“删除”按钮。

附录：订阅的通知消息报文 以普通设备为例介绍订阅管理中MQS各报文示例。 消息属性 {"deviceIdentifier":"iottest2", // 设备标识"eventTime":"1588843914884", // 消息时间"gatewayIdentifier":"null", // 网关设备标识"deviceId":"D114VKx7a", // 设备ID"gatewayId":"null", // 网关设备ID"TAGS":"null" // 消息标签} 普通设备/网关设备时，gatewayId和gatewayIdentifier的值设置为null。 网关子设备时，gatewayId和gatewayIdentifier分别为其网关设备的deviceId和deviceIdentifier。 消息内容 设备添加 {'deviceType':'Default', // 设备类型'instanceOid':'40', // 实例Oid'manufacturerName':'iotcompro1',// 厂商名称'productOid':'1', // 产品Oid'manufacturerId':'iotcompro1', // 厂商ID'remark':'', // 设备描述'deviceId':'D114VKx7a', // 设备ID'deviceName':'iottest2',// 设备名称'productName':'iotcompro1',// 产品名称'notifyType':'deviceAdded',// 消息类型'deviceIdentifier':'iottest2',// 设备标识'deviceOid':'14', // 设备Oid'createdBy':'admin', // 创建者'eventTime':'1588843914884',// 消息时间'model':'iotcompro1', // 产品模型'productType':'0', // 产品类型 1-网关产品 0-普通产品'status':'0', // 设备状态 0-启用 1-禁用'parentDeviceOid':'null'// 父设备Oid} 设备删除 {'notifyType':'deviceDeleted',// 消息类型'deviceIdentifier':'iottest2',// 设备标识'eventTime':'1588843914884',// 消息时间'deviceId':'D114VKx7a' // 设备ID} 设备上线 { 'notifyType':'deviceOnline', // 消息类型-设备上线 'deviceIdentifier':'iottest2', // 设备标识 'eventTime':'1588843914884', // 消息时间 'deviceId':'D114VKx7a' // 设备ID} 设备下线 { 'notifyType':'deviceOffline', // 消息类型 'deviceIdentifier':'iottest2', // 设备标识 'eventTime':'1588843914884', // 消息时间 'deviceId':'D114VKx7a' // 设备ID} 设备类型变更 {'instanceOid':'40', // 实例Oid'productOid':'1', // 产品Oid'remark':'', // 设备描述'deviceId':'D114VKx7a', // 设备ID'deviceName':'iottest1', // 设备名称'notifyType':'deviceChange', // 消息类型'deviceIdentifier':'iottest1', // 设备标识'deviceOid':'1', // 设备Oid'createdBy':'admin', // 创建者'eventTime':'1588843914884', // 消息时间'status':'0', // 设备状态 0-启用 1-禁用'parentDeviceOid':'null' // 父设备Oid} 父主题： 订阅管理

接入设备 EdgeShell是用于采集边缘侧设备端数据，并发送到ROMA Connect的边缘网关程序。Modbus协议接入设备操作步骤如下： 创建产品。 在“产品管理”页面单击“创建产品”，产品类型选择“普通产品”，协议类型选择“Modbus”。 创建设备。 在“设备管理”页面单击“创建设备”，所属产品选择上一步创建的产品。 下载EdgeShell安装包。 单击设备名称，进入设备详情页，在基础信息页签中，单击的“EdgeShell”项的“下载安装包”，下载EdgeShell安装包。 启动EdgeShell。 EdgeShell支持运行在Windows和Linux环境中，根据不同的环境执行不同的启动脚本。 EdgeShell依赖于java11运行环境，运行前需要先确保java运行环境已安装，并且JAVA_HOME环境变量已设置。 解压下载的edge-shell.zip，解压后目录结构如下图。 bin：启动停止脚本。 config：配置参数。 lib：依赖的jar包。 edge-shell-1.0.0.jar：运行的主程序。 在设备详情页的“基本信息”页签中拷贝“边缘连接配置(IPV4)”到config目录下的mqtt.properties文件中。 执行启动脚本。 Windows下执行bin/windows/start.bat。 Linux下执行bin/linux/start.sh。 正常启动后，EdgeShell会连接上LINK，此时在会显示设备在线，设备详情页中的边缘详情会有数据上报。 启动脚本后会生成log目录，该目录下会记录启动和运行日志。该目录下会有edge-shell-error.log和edge-shell-info.log两个文件，如果启动后设备没有连接上，可以通过查看error日志快速定位。 Windows下如果单击启动后，log目录没有生成，可以修改start.bat下列语句： 修改前： start edge-shell %JAVA_OPT% -jar edge-shell-1.0.0.jarpause 修改后： java %JAVA_OPT% -jar edge-shell-1.0.0.jar 插件下载。 在插件管理页面中，单击“下载插件”，在弹出框中单击“下载并部署”。 插件安装成功后，单击操作栏中的启动键启动插件。 配置Modbus连接点和采集策略。 当创建的设备是Modbus类型设备时，设备详情页中显示的是“Modbus配置”，Modbus插件支持TCP/IP和串口两种连接方式。具体创建配置如下： 创建Modbus TCP/IP连接点时，配置参数如下图。 创建Modbus串口连接点时，配置参数如下图。 在已创建的连接点下创建采集策略，配置参数如下图。 用户设备端寄存器地址由起始地址编号和功能码决定。 Modbus协议定义了设备地址（即起始地址）范围是0到65535，而寄存器地址是从1开始，范围为1到65536，所以如果起始地址为5，则对应的寄存器地址为6。 目前功能码仅支持01、02、03、04，对应寄存器地址范围如下： 功能码为01时，范围为：000001~065536 功能码为02时，范围为：100001~165536 功能码为03时，范围为：400001~465536 功能码为04时，范围为：300001~365536 例如：功能码为03，起始地址为5，则对应的寄存器地址为400006。 下发采集策略到边缘EdgeShell。 在设备详情页中的“Modbus配置”页签，勾选需要下发的Modbus连接点，单击“下发策略”按钮。 配置规则引擎。 配置普通设备采集上来的数据转发到MQS。 在规则引擎界面单击“创建规则”按钮，规则引擎所属应用需要与普通产品相同。 · 单击规则引擎名称进入规则引擎详情页面，配置数据源端和数据目的端。 数据源端选择之前创建的产品和设备。 数据目的端选择同实例下的MQS。

准备依赖资源 ROMA Connect实例所需资源的具体要求和创建指导如下所示。 表1 ROMA Connect依赖资源 准备资源 要求 创建指导 VPC和子网 不同的ROMA Connect实例可以复用相同的VPC和子网，也可以使用不同的VPC和子网，请根据实际需要进行配置。在创建VPC和子网时应注意如下要求： 创建的VPC与使用的ROMA Connect服务应在相同的区域。 创建VPC和子网时，如无特殊需求，配置参数使用默认配置即可。 创建VPC和子网的操作指导请参考创建虚拟私有云和子网，若需要在已有VPC上创建和使用新的子网，请参考为虚拟私有云创建新的子网。 安全组 不同的ROMA Connect实例可以复用相同的安全组，也可以使用不同的安全组，请根据实际需要进行配置。在创建安全组时应注意如下要求： 创建安全组时，“模板”选择“自定义”。 安全组创建后，请保留系统默认添加的入方向和出方向规则。 使用ROMA Connect服务要求必须添加表2所示安全组规则，其他规则请根据实际需要添加 创建安全组的操作指导请参考创建安全组，为安全组添加规则的操作指导请参考添加安全组规则。 （可选）弹性公网IP 若需要通过公网访问ROMA Connect，则需要申请弹性公网IP，否则不需要申请弹性公网IP。每个实例只需要绑定一个公网IP。 申请弹性公网IP的操作指导请参考申请弹性公网IP。 表2 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 80 0.0.0.0/0 通过公网访问APIC（无SSL加密）。 入方向 TCP 443 0.0.0.0/0 通过公网访问APIC（有SSL加密）。 入方向 TCP 1883 0.0.0.0/0 通过公网访问LINK（无SSL加密）。 入方向 TCP 7443 0.0.0.0/0 通过公网访问LINK（RESTful API方式）。 入方向 TCP 8443 0.0.0.0/0 通过公网访问LINK（有SSL加密）。 入方向 TCP 9092 0.0.0.0/0 通过内网访问MQS（无SASL认证）。 入方向 TCP 9093 0.0.0.0/0 通过内网访问MQS（有SASL认证）。 入方向 TCP 9094 0.0.0.0/0 通过公网访问MQS（无SASL认证）。 入方向 TCP 9095 0.0.0.0/0 通过公网访问MQS（有无SASL认证均使用）。 入方向 TCP 9096 0.0.0.0/0 通过公网访问MQS（有无SASL认证均使用）。 入方向 TCP 9097 0.0.0.0/0 通过公网访问MQS（有SASL认证）。 入方向 TCP 9292 0.0.0.0/0 通过公网访问MQS（RESTful API方式）。 入方向 TCP 15003 0.0.0.0/0 通过公网访问ABM（RESTful API方式）。