数据治理中心 DATAARTS STUDIO-CDM迁移作业的抽取并发数应该如何设置?:如何调整抽取并发数

时间:2024-12-03 19:54:17

如何调整抽取并发数

  1. 集群最大抽取并发数的设置与 CDM 集群规格有关,并发数上限建议配置为vCPU核数*2,如表1所示。
    表1 集群最大抽取并发数配置建议

    规格名称

    vCPUs/内存

    集群并发数上限参考

    cdm.large

    8核 16GB

    16

    cdm.xlarge

    16核 32GB

    32

    cdm.4xlarge

    64核 128GB

    128

    图1 集群最大抽取并发数配置
  2. 作业抽取并发数的配置原则如下:
    1. 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。
    2. 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。
    3. 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。
    4. 目的端为 DLI 数据源时,抽取并发数建议配置为1,否则可能会导致写入失败。
    图2 作业抽取并发数配置
support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0336.html