云服务器内容精选

华为云首页用户手册

大数据校验

迁移中心 MGC-Hive校验结果中的源端数据和目的端数据显示为“0”或“-1”:问题分析

问题分析出现该问题可能是因为数值超出了Hive支持的数值范围。在数据处理中，如果遇到极大值或极小值，Hive可能无法以标准数值格式表示这些极端数值，而是将它们显示为 “Infinity”（表示无限大）或 “-Infinity”（表示无限小）。这些值并不是有效的数字，因此在进行数值转换或计算时，可能会引发异常。在校验过程中，Hive和Spark对这些无法表示的数值有默认的处理方式：当数值为 Infinity 或 -Infinity 时，会被默认处理并显示为 -1。当数值为 NaN（Not a Number，非数字）时，会被默认处理并显示为 0。

迁移中心 MGC 大数据校验
迁移中心 MGC-大数据校验概述:校验方式说明

校验方式说明全量校验：全量对比所有数据，适用于需要对比历史数据的场景。日级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。支持单日或连续多日增量数据的统计，是最常用的校验方式。小时级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。在24小时内自动进行多次校验，可以持续关注数据一致性变化情况。第二日0点自动停止任务。指定日期校验：仅适用于分区为年月日格式的分区表，支持周期性指定一个或多个连续日期分区进行校验。分区格式不为年月日的表不会进行校验。指定时间校验：用户可以选择一个时间段，校验该时间段内的数据。只能选择当前时间之前的时间段进行校验。

迁移中心 MGC 大数据校验
迁移中心 MGC-大数据校验概述:各组件支持的校验方式

各组件支持的校验方式组件支持的校验方式 Hive 全量校验日级增量校验小时级增量校验指定日期校验 DLI MaxCompute 全量校验日级增量校验小时级增量校验指定日期校验 Doris 全量校验日级增量校验小时级增量校验 Hbase 全量校验指定时间校验 ClickHouse 全量校验阿里云云数据库ClickHouse 全量校验 CloudTable(HBase) 全量校验指定时间校验 CloudTable(ClickHouse) 全量校验 Delta 全量校验日级增量校验小时级增量校验指定日期校验 Hudi 全量校验日级增量校验小时级增量校验指定日期校验

迁移中心 MGC 大数据校验
迁移中心 MGC-创建表组并添加数据表:导入数据表并加入表组

导入数据表并加入表组在表管理页面，选择库表清单页签。单击“导入数据表”按钮，弹出导入数据表窗口。选择元数据连接和要加入的表组。单击“模板下载”，将导入模板下载到本地。打开导入模板，将需要导入的数据表对应参数填写到模板内。每个模板最多支持导入10,000张表。同一表组内的表必须属于同一个元数据来源。模板中单元格不允许存在公式且必须是文本格式，否则会导致解析失败。模板参数填写完成并保存后，单击导入窗口的“添加文件”按钮，将填写后的模板文件上传。上传成功后，单击“确认”按钮，系统开始导入。在库表清单列表中可以查看导入的数据表。

迁移中心 MGC 大数据校验