数据治理中心 DATAARTS STUDIO-性能过慢处理方案:源端抽取慢

时间:2024-11-14 09:52:36

源端抽取慢

  1. 检查源端负载是否已到达源端数据源上限,如Mysql、Oracle、SqlServer数据源,优先查看源端数据源的监控指标,查看CPU、内存、IO等参数是否处于高负载状态。
  2. 在排除源端负载的情况下,如果源端是Mysql\Oracle\SqlServer\PostGres\OpenGauss等的全量+增量作业且作业处于全量抽取阶段,或者Kafka\hudi等数据源抽取速度慢,请优先尝试加大作业并发数,以提高作业的并发抽取速率。

    Mysql\Oracle\SqlServer\PostGres\OpenGauss等关系型数据为保证事务有序,在增量阶段是单并发抽取,加大并发一般不会提升抽取性能。

  3. 如果第2步也无法有效提升性能,请根据源端优化尝试进行参数优化。
  4. 如果上述步骤仍然无法提升作业速度,请联系技术支持人员协助解决。
support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1611.html