HAYDN解决方案工厂-项目实施开发:CDM作业一键生成

时间:2024-07-04 19:45:18

CDM 作业一键生成

云数据迁移 CDM,是一种高效、易用的数据集成服务。解决方案工作台集成CDM,支持批量生成CDM作业并在指定的CDM实例中运行。

前提:

  1. 已在实施责任人“解决方案工作台Trial_TE”所属账号下创建CDM集群。
  2. 已在该CDM服务中创建数据连接,以便后续把在解决方案工作台上生成的CDM作业同步至创建好的CDM集群中并执行作业。本实践中涉及两个源端MySQL数据库、一个目标端 MRS Hudi,则需要先把这三个数据连接创建完成,参考新建CDM数据连接
    注意:在CDM中创建的数据连接名称需要和解决方案工作台上的数据连接名称一致,以便CDM作业能正确同步过去。
    图20 CDM数据连接

步骤:

  1. 在“作业管理”下选择“CDM作业”页签,添加CDM实例。
    图21 添加CDM实例
  2. 点击【一键生成作业】,进入作业配置详情页。
    图22 一键生成作业
  3. 配置作业详情。可手工添加或批量增加,若已在数据调研中生成入湖清单,则支持从入湖清单导入。
    • 源连接名称:选择源端系统连接,即,在数据调研中创建两个源端MySQL数据连接;
    • 目的连接名称:选择在数据调研中MRS-Hudi数据连接。
      图23 从入湖清单导入
  4. 配置完成后点击【提交】。可选择是否同步生成质量检查作业,若开启,则将会在实施质量检查中生成检查作业。
    图24 提交作业配置
    图25 作业信息

    要运行CDM作业,请确保有相应的数据连接以及连接的数据库存在,如,目标端MRS Hudi数据库要存在。

  5. 一键同步作业:将配置好的CDM作业同步至CDM集群中,以便后续可在CDM集群中执行作业。
    图26 一键同步作业
  6. 您可以点击【同步历史】,查看同步结果。
    图27 查看同步历史

    您也可以进入CDM集群中查看作业并运行作业。

    图28 查看CDM集群作业
support.huaweicloud.com/bestpractice-haydncsf/haydncsf_06_0033.html