迁移中心 MGC-创建统计任务并执行校验:约束与限制

时间:2024-12-26 19:50:35

约束与限制

  • 创建EMR Delta Lake到 MRS Delta Lake数据校验任务存在以下约束与限制:
    • 源端EMR环境的Spark版本为3.3.1时,支持Delta Lake(有元数据)和Delta Lake(无元数据)的数据校验。
    • 源端EMR环境的Spark版本为2.4.8时,仅支持Delta Lake(有元数据)的数据校验。
  • Lindorm、Hbase校验不支持纯冷数据表。
  • 在进行Hive 2.x与Hive 3.x版本间数据校验时,由于Hive 2.x版本在查询固定长度字符串类型char(N)数据时,如果实际数据长度不满足N长度,Hive会以空格补齐至N长度。而Hive 3.x版本在查询时不会进行这种补齐操作。这可能导致在不同版本间比较结果时出现差异。为了避免因版本差异导致的数据不一致问题,建议使用Beeline作为客户端工具进行作业对数。
support.huaweicloud.com/usermanual-mgc/mgc_03_0108.html