应用与数据集成平台 ROMA CONNECT-配置源端数据信息:DWS

时间：2024-05-07 17:09:58

DWS

返回页首

任务的“集成模式”为“定时”时，可以选择DWS（数据仓库服务）作为源端数据源，具体配置如下。

表5 源端DWS信息
参数	配置说明
插入SQL	选择是否使用SQL语句来获取源端数据。开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。例如：语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。
源端表	仅当“插入SQL”选择不开启时需要配置。选择DWS数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。
按字段排序	仅当“插入SQL”选择不开启时需要配置。要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。
是否增量迁移	选择是否只集成指定时间段内的数据。首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。
时区	仅当“是否增量迁移”选择开启时需要配置。选择DWS数据源使用的时区，以便ROMA Connect识别数据的时间戳。
时间戳字段	仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。选择数据表中“DATE”类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。
时间戳初始值	仅当“是否增量迁移”选择开启时需要配置。首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。
重置迁移时间初始值	该参数仅在编辑FDI任务时可配置。选择是否开启重置迁移时间初始值。开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。
时间补偿(毫秒)	仅当“是否增量迁移”选择开启时需要配置。为了避免源端生成数据时存在滞后，导致ROMA Connect查询源端增量数据出现遗漏，可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。例如：上一次增量迁移任务的结束时间是15:05，本次定时任务在17:00触发，时间补偿设为100ms，则本次增量迁移任务要集成数据的时间区间为“15:05~（17:00-100ms）”。
条件筛选	仅当“插入SQL”选择不开启时需要配置。添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。例如：条件“and \| col02 \| equal \| A”表示只集成列col02中，值为“A”的数据行。
扩展元数据	仅当“插入SQL”选择不开启时需要配置。当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。字段名：选择源表中需要采集子元素的数据字段名称。类型：JSON格式字段值中，要采集的数据元素的数据类型。解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。

扩展元数据解析路径配置说明：

JSON格式数据中不含数组
 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。

此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。
```
{
   "a": {
      "b": {
         "c": "xx",
         "d": "xx"
      }
   }
}
```
JSON格式数据中含数组
 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。

此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。
```
{
   "a": {
      "b": [{
         "c": "xx",
         "d": "xx"
      },
      {
         "c": "yy",
         "d": "yy"
      }
      ]
   }
}
```