如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
查看并导出校验结果 当源端与目的端的统计任务都执行完成后，在校验结果页面可以查看并导出任务的执行结果。校验结果将按照任务开始执行的日期进行分批，如果单日多次执行校验任务，系统只会保留最后一次的校验结果，之前的执行结果会被后续的执行所覆盖。 前提条件 已创建统计任务并执行校验。 使用须知
查看并导出校验结果 当源端与目的端的统计任务都执行完成后，在校验结果页面可以查看并导出任务的执行结果。校验结果将按照任务开始执行的日期进行分批，如果单日多次执行校验任务，系统只会保留最后一次的校验结果，之前的执行结果会被后续的执行所覆盖。 前提条件 已创建统计任务并执行校验。 使用须知
DLI校验任务出现大量失败表 问题描述 创建并执行DLI校验任务时，出现大量失败表，查看MgC Agent（原Edge）日志报错信息如下： 问题分析 出现该问题可能是因为请求已达到接口流控上限。 解决方法 请联系技术支持，提高接口流控的阈值。 父主题： 大数据校验
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验，Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
大数据校验流程 进行大数据校验的完整的操作流程，如图1所示。 图1 大数据校验操作流程图 步骤 操作 准备工作 注册华为账号并开通华为云，为账户充值。 创建IAM用户并授权、获取访问密钥等相关资源。 创建大数据迁移项目。 安装MgC Agent并连接迁移中心，。 选择并启用MgC
创建统计任务并执行校验 利用创建的源端连接和目的端连接，分别创建源端和目的端统计任务，获取源端和目的端的数据信息，以便于进行数据校验。 支持的大数据组件和统计方式说明请参见大数据校验概述。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 数据量较大时，对数成功率
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校验方法。通过一致性校验，您可以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校验方法。通过一致性校验，您可以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：全量对比所有数据
Delta 数据量较大时，如何优化校验任务？ 本文介绍当源端Delta数据量较大（如超过10000张表）时，如何使用MgC大数据校验功能进行一致性校验的方法。 操作步骤 参考创建元数据连接，创建第一个Delta元数据连接。 使用步骤1.创建的第一个元数据连接，创建元数据同步任务，将源端的元数据同步至迁移中心
MRS HBase迁移至MRS HBase数据校验 本文主要介绍MRS HBase版本间数据迁移后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent（原Edge），方法请参见安装Linux版本的MgC
MRS Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具
创建统计任务并执行校验 利用创建的源端连接和目的端连接，分别创建源端和目的端统计任务，获取源端和目的端的数据信息，以便于进行数据校验。 支持的大数据组件和统计方式说明请参见大数据校验概述。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 HBase安全集群任务与非安全集群任务不能同时执行
MaxCompute迁移至DLI数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云数据湖探索 DLI后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent（原Edge）并登录，方法请参见安装
MaxCompute迁移至MRS Hive数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云MRS Hive后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent（原Edge）并登录，
Hudi（无元数据）迁移至MRS Hudi数据校验 本文主要介绍将自建Hudi环境上的数据迁移至华为云MRS Hudi之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 Hudi不存在元数据，无法通过数据湖元数据同步方式进行数据采集，需要通过导入数据的方式获取元数据信息。
DeltaLake（无元数据）迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据，无法通过数据湖元数据同步方式进行数据采集
MRS ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍MRS ClickHouse版本间数据迁移后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent（原Edge）并登录，
阿里云 ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍将阿里云 ClickHouse数据迁移至华为云MRS ClickHouse后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC
MRS Doris迁移至MRS Doris数据校验 本文主要介绍MRS Doris版本间数据迁移后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent（原Edge）并登录，方法请参见安装Linux版本的
Hudi（有元数据）迁移至MRS Hudi数据校验 本文主要介绍将自建Hudi环境上的数据迁移至华为云MRS Hudi之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 Hudi存在元数据，可通过数据湖元数据同步方式进行数据采集。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
