检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据校验 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时，如何优化校验任务？
大数据迁移后数据校验 MaxCompute迁移至DLI数据校验 MRS ClickHouse迁移至MRS ClickHouse数据校验 阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 阿里云 ClickHouse迁移至MRS ClickHouse数据校验 阿里云
在使用大数据校验功能前，请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前，需要先在源端环境中安装用于配合大数据校验的迁移工具E
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题： 大数据校验
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题： 大数据校验
自定义参数说明 在创建数据湖探索 DLI校验任务时，支持的自定义参数及说明参见表1。 表1 DLI校验任务支持的自定义参数说明 参数名称 默认值 描述 mgc.mc2dli.table.partition.enable true DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。
Hudi（有元数据） Hudi（无元数据） 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域，单击“连接管理”，进入连接管理页面。 单击页面右上角的“新增连接”，右侧弹出新增连接窗口。
对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。在页面
导入数据表时，系统不会校验数据表加入的分组数量和对数标准。为保持对数的准确性，建议同一数据表加入的分组不超过3个，并避免加入对数标准相同的分组。 前提条件 已完成准备工作。 已创建源端连接。 创建表组 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。在页面
创建执行机连接 执行机是获取数据的任务执行单元，需要分别与源端和目的端的执行机建立连接，然后执行数据统计，统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据） Hudi（有元数据）
对大数据组件数据进行一致性校验时，需要与大数据组件建立连接，用于数据查询。 目前支持创建连接的大数据组件包括： Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。
登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域，单击“连接管理”，进入连接管理页面。 单击页面右上角的“新增连接”，右侧弹出新增连接窗口。 根据实际情况选择大数据云服务，单击“下一步”，进入详细配置页面。
新增大数据校验数据连接时，凭证列表数据缺失 问题描述 进行大数据校验，在新增连接时，凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题，可能的原因如下： 凭证添加错误：在Edge添加的凭证类型与新增连接所需的凭证类型不对应。 凭证同步失败：在Edge添加的凭证未能同步到MgC。
sudo用户进行主机迁移时，主机迁移工作流校验源端环境失败 问题描述 在使用sudo用户进行主机迁移时，主机迁移工作流在“校验源端环境”步骤中提示失败。 问题分析 主机迁移工作流在执行环境检测时，会上传一个检测脚本到源端主机，该脚本只有读取和执行权限。如果源端主机已存在该脚本，而
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶（以下称为日志桶），实现对日志和内容校验结果的有效管理和分析。设置了日志桶后，会默认使用大数据校验中的日志上传功能，将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限：
迁移到目的端时，迁移列表报错提示“COMPARISON_ATTRIBUTE_NOT_SAME”。 解决方法 根本原因是元数据校验失败。具体分为两种场景： 场景一： 由于元数据中的mtime（修改时间）属性引起的校验失败。当启用元数据保留迁移，且目的端存储为PFS桶时，如果源端对象的元数据包含mtime（修改时
在安全组列表中，找到集群所在的安全组，单击操作列的“配置规则”，进入安全组规则配置页面。 在“入方向规则”页签，单击“添加规则”，弹出“添加入方向规则”对话框。 需要添加一条允许通过TCP协议访问27080端口的规则。在源地址填写Edge所在主机的内网IP地址。 入方向规则设置完成后，单击“确定”。 在阿
TDA服务的域名，具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中，需要包含8883端口。 关闭该主机上的杀毒、防护类软件，该类软件会拦截Edge的执行，导致迁移工作流执行失败。 不建议将Edge安装在源端待迁移的主机上，主要原因包括：
TDA服务的域名，具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中，需要包含8883端口。 关闭该主机上的杀毒、防护类软件，该类软件会拦截Edge的执行，导致迁移工作流执行失败。 不建议将Edge安装在源端待迁移的主机上，主要原因包括：
TDA服务的域名，具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中，需要包含8883端口。 关闭该主机上的杀毒、防护类软件，该类软件会拦截Edge的执行，导致迁移工作流执行失败。 不建议将Edge安装在源端待迁移的主机上，主要原因包括：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
