应用与数据集成平台 ROMA CONNECT-配置源端数据信息:DWS
下载应用与数据集成平台 ROMA CONNECT用户手册完整版
DWS
返回页首
任务的“集成模式”为“定时”时，可以选择DWS（ 数据仓库 服务）作为源端数据源。
- 在创建任务页面中配置源端信息。
表5 源端DWS信息 参数
配置说明
源端实例
选择当前正在使用的ROMA Connect实例。
源端集成应用
选择DWS数据源所属的集成应用，在接入数据源时已配置。
源端数据类型
选择“DWS”。
数据源名称
选择接入数据源中已配置的DWS数据源。
插入SQL
选择是否使用SQL语句来获取源端数据。
- 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。
- 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。
若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。
例如：语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。
源端表
仅当“插入SQL”选择不开启时需要配置。
选择DWS数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。
按字段排序
仅当“插入SQL”选择不开启时需要配置。
要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。
是否增量迁移
选择是否只集成指定时间段内的数据。
首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。
时区
仅当“是否增量迁移”选择开启时需要配置。
选择DWS数据源使用的时区，以便ROMA Connect识别数据的时间戳。
时间戳字段
仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。
选择数据表中“DATE”类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。
时间戳初始值
仅当“是否增量迁移”选择开启时需要配置。
首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。
重置迁移时间初始值
该参数仅在编辑FDI任务时可配置。
选择是否开启重置迁移时间初始值。
开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。
关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。
条件筛选
仅当“插入SQL”选择不开启时需要配置。
添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。
例如：条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。
- 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。
- 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。
源端为DWS的配置与MySQL的类似，配置示例可参考MySQL配置示例。
- 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。
- 华为云资料 2021年 7月刊
- DWS安全_数据仓库服务安全_DWS数据安全管理_DWS安全保障_DWS安全策略
- 数据治理中心_数据开发_数据开发能力_脚本和节点介绍-华为云
- 数据仓库服务GaussDB(DWS)_SQL on Anywhere
- DWS产品介绍_DWS产品优势_DWS功能_DWS使用场景_DWS是什么
- 调用GaussDB(DWS) API接口_数据仓库服务调用API_如何调用API_在DWS中调用API
- DWS资源管理_GaussDB(DWS)资源管理作用_DWS资源管控
- Gauss(DWS)数据加解密_数据加解密算法_数据加解密函数
- 数据治理中心_数据集成_使用教程_-华为云
- 什么是智能边缘平台_智能边缘平台的优势_华为云
