检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 在使用大数据校验功能前，请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前，需要先在源端环境中安装用于配合大数据校验的迁
准备工作 在使用大数据校验功能前，请务必先完成以下必要的准备工作。 创建大数据迁移项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备MgC Agent（原Edge） 在启用大数据校验功能前，需要先在源端环境中安装用于配合大数据校验的MgC
目前支持的源端云厂商和资源范围如下表。 源端云厂商 源端资源类型 华为云资源类型 AWS EC2 ECS EBS EVS 阿里云 ECS ECS EBS EVS 部分EBS产品规格，由于计算方式差别较大，源端和华为云都忽略了IOPS以及突发性吞吐相关计费项，只比较容量以及使用时长相关计费项。
创建存储迁移工作流 本节介绍如何使用存储迁移标准模板创建存储迁移工作流。 前提条件 已完成准备工作。 已创建集群。 （可选）已打通SFS 1.0、3.0和集群之间的网络 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的应用迁移项目。 在左侧导航栏选择“
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入
部署MgC Agent（原Edge） 使用迁移中心的大数据血缘功能前，需要先在可以访问源端元数据来源的环境中部署MgC Agent。 MgC Agent不具备自动重启功能，严禁在任务执行期间重启MgC Agent，以避免任务失败。 操作步骤 安装MgC Agent的方法请参考下载并安装MgC
部署迁移工具Edge 使用迁移中心的大数据血缘功能前，需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能，严禁在任务执行期间重启Edge，以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后，将Edge
操作系统为：CentOS 8.x 推荐规格不小于4U8G。如果使用大数据相关功能，推荐规格不小于8U16G。 不建议将MgC Agent安装在源端待迁移的主机上，主要原因包括： 资源消耗：MgC Agent在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时，这可能会对源端的业务运行造成影响。
创建目的端组件连接 对大数据组件数据进行一致性校验时，需要与大数据组件建立连接，用于数据查询。 目前支持创建连接的大数据组件包括： Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页
MySQL节点IP：输入MySQL数据库服务器的IP地址。 MySQL服务端口：输入MySQL数据库服务的端口号。 数据库名：输入存储Hive表元数据的数据库名称。 说明： 请确保填写的MySQL凭证、节点IP、服务端口和数据库名与Hive实际使用的MySQL数据库相匹配，否则会导致数据校验失败。 参
您可以： 根据企业的业务组织，在您的华为云账号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用MgC资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将MgC资源委托给更专业、高效的其他华为云账号或者云服务，这些账号或者云服务可以根据权限进行代运维。
您可以： 根据企业的业务组织，在您的华为云账号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用MgC资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将MgC资源委托给更专业、高效的其他华为云账号或者云服务，这些账号或者云服务可以根据权限进行代运维。
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。 在血缘采集区域，单击“创建任务”，弹出创建血缘采集任务窗口。 根据实际作业类型，选择文件类型并配置对应参数。
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域，单击“创建任务”，弹出创建血缘采集任务窗口。 根据实际作业类型，选择文件类型并配置对应参数。
序号 功能名称 功能描述 阶段 相关文档 1 迁移中心上线公测 迁移中心（Migration Center, MgC）是华为云一站式迁移和现代化平台，承载华为云迁移方法论和最佳实践，可以帮助您轻松完成上云，该平台既提供快速平迁能力，也提供应用现代化建议和改造能力。 公测 什么是迁移中心
登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域，单击“连接管理”，进入连接管理页面。 单击页面右上角的“新增连接”，右侧弹出新增连接窗口。 根据实际情况选择大数据云服务，单击“下一步”，进入详细配置页面。
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。 在功能入口区域，单击“连接管理”，进入连接管理页面。 单击页面右上角的“新增连接”，右侧弹出新增连接窗口。 根据实际情况选择大数据云服务，单击“下一步”，进入详细配置页面。
COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite
6及以下版本：/etc/mysql/ MySQL 5.7及以上版本：/var/lib/mysql/ 如果是云数据库，请参考各云厂商数据库的说明文档： 华为云 云数据库RDS 阿里云 云数据库RDS exclude_ip 否 填写不需要采集的客户端IP地址，多个IP地址之间用逗号分隔。例如：127
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
