检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用教程 数据架构示例 父主题： 数据架构
如果SQL脚本的内容有变化，补数据作业运行的是最新版本的脚本。 使用补数据功能时，如SQL中变量是DATE，脚本中就写${DATE}，在作业参数中会自动增加脚本参数DATE，脚本参数DATE的值支持使用EL表达式。如果是变量时间的话，需要使用DateUtil内嵌对象的表达式，平台会自动转换成历史日期。EL表达式用法可参考EL表达式。
引用作业参数 脚本参数 脚本参数支持如下使用方式，脚本参数的作用范围为当前脚本。 SQL脚本支持在脚本编辑器中直接输入参数（Flink SQL不支持），通过作业调度时可通过节点属性进行赋值，如2所示。 Shell脚本可以在编辑器上方配置参数和交互式参数以实现参数传递功能。 Python脚本支持参数传递功能。
useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。
支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Oracle数据库（10、11、12、19版本） MRS集群（3.2.0-LTS.x） Hudi版本（0.11.0） 数据库账号权限要求 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满
如果SQL脚本的内容有变化，补数据作业运行的是最新版本的脚本。 使用补数据功能时，如SQL中变量是DATE，脚本中就写${DATE}，在作业参数中会自动增加脚本参数DATE，脚本参数DATE的值支持使用EL表达式。如果是变量时间的话，需要使用DateUtil内嵌对象的表达式，平台会自动转换成历史日期。EL表达式用法可参考EL表达式。
DRS任务切换到实时Migration作业配置 DRS（数据复制服务）任务迁移到Migration，完成作业切换和数据续传。 前提条件 已创建DRS实时同步任务，DRS相关操作请参见数据复制服务。 已按使用前自检概览准备好实时数据集成环境。 准备动作 Migration所需资源估算。
集群配置的创建方法请参见管理集群配置。 hbase_01 单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。 FusionInsight HBase 连接FusionInsight
群配置。 集群配置的创建方法请参见管理集群配置。 hdfs_01 单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。 FusionInsight HDFS 连接FusionInsight
API编排典型配置 API编排的典型使用场景如下： 对返回消息进行映射或格式转换：通过API编排的方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据API：使用API编排后，可以降低调用次数，减少集成成本，提升调用效率。 约束与限制 仅3.0.6及以上版本的数据服务专享版集群支持API编排。
Hive JDBC连接串 连接Hive JDBC的url，默认使用匿名用户连接。 - 单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。 常见配置举例如下： connect
MySQL同步到Kafka作业配置 数据仓库：DWS MySQL同步到DWS作业配置 SQLServer Hadoop：MRS Hudi 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 SQLServer同步到MRS Hudi作业配置 PostgreSQL 数据仓库：DWS 说明：
时间变量宏定义具体展示 假设当前时间为“2017-10-16 09:00:00”，时间变量宏定义具体如表1所示。 表中示例实际使用时必须嵌在''中使用，比如需要以yyyy-MM-dd格式返回当前时间时，参数为'${dateformat(yyyy-MM-dd)}'。 表1 时间变量宏定义具体展示
时间变量宏定义具体展示 假设当前时间为“2017-10-16 09:00:00”，时间变量宏定义具体如表1所示。 表中示例实际使用时必须嵌在''中使用，比如需要以yyyy-MM-dd格式返回当前时间时，参数为'${dateformat(yyyy-MM-dd)}'。 表1 时间变量宏定义具体展示
Each循环执行的节点，让CDM子作业循环执行，并配置节点属性参数。 配置MRS Spark SQL节点的属性参数，并关联已创建的脚本maxtime。 图3 配置MRS Spark SQL节点属性参数 配置For Each节点的属性参数，并关联已创建的CDM子作业。 图4 配置For Each节点参数
如何使用Java调用CDM的Rest API创建数据迁移作业？ CDM提供了Rest API，可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例，介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
集群名：环境准备中创建的DWS集群名称。 绑定Agent：环境准备中创建的CDM集群。 创建数据库 在DWS中创建数据库，以“gaussdb”数据库为例。创建数据库的详情请参考新建数据库进行操作。 创建数据表 在“gaussdb”数据库中创建数据表trade_log和trade_report。详情请参考如下建表脚本。
编排作业 配置DLI SQL节点属性，此处配置为SQL语句，语句内容如下所示。DLI SQL节点负责读取DLI表Table_List中的内容作为数据集。 SELECT * FROM Table_List; 图6 DLI SQL节点配置 配置For Each节点属性。 子作业：子作业选择步
Kafka作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Kafka集群（2.7、3.x版本） Kafka集群（2.7、3.x版本） 数据库账号权限要求 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能
名称：用户自定义连接名称，例如“oracle_link”。 数据库服务器地址、端口：配置为Oracle服务器的地址、端口。 数据库名称：选择要导出数据的Oracle数据库名称。 用户名、密码：Oracle数据库的登录用户名和密码，该用户需要拥有Oracle元数据的读取权限。 单击“保存”回到连接管理界面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
