迁移中心 MGC-Hive校验的sum统计结果显示未达标:问题分析

时间:2024-12-06 16:24:02

问题分析

使用spark-sql 客户端,进行sql操作,出现用同一个命令存在返回值不同的情况。

这是因为在进行大数据对数的求和计算时,由于分布式计算顺序的不确定性,可能会导致计算结果的不一致性。特别是处理接近或等于double类型最大值(1.7976931348623157E+308)的数据时,加上一个较小的数值(如2.0)可能会导致数值溢出,使得结果保持不变。这是double类型在处理极大数值时溢出的常见现象。

support.huaweicloud.com/mgc_faq/mgc_04_1102.html