数据治理中心 DATAARTS STUDIO-迁移作业原理:数据迁移模型

时间:2024-09-09 17:46:31

数据迁移模型

CDM 数据迁移时,简化的迁移模型如图1所示。

图1 CDM数据迁移模型
CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下:
  1. 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。

    不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。

  2. CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。
support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0025.html