检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建执行机连接 执行机是获取数据的任务执行单元，需要分别与源端和目的端的执行机建立连接，然后执行数据统计，统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据）
需费用。 查看主机性能数据 在资源配置明细的主机列表中，可以查看每台主机最后采集日期7天/30天内的CPU负载和内存负载平均值。单击“性能分析”，可以查看所有主机的性能分布统计。 更改目的端规格 在资源配置明细区域，单击主机资源操作列的“更改目的端规格”，右侧弹出资源详情窗口。
查看并导出执行结果 每运行一次迁移任务，即会生成一条任务实例。在任务实例的进度详情页面，可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载，15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表，单击进度统计列的“查看”，进入进度详情页面。
查看并导出执行结果 每运行一次迁移任务，即会生成一条任务实例。在任务实例的进度详情页面，可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载，15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表，单击进度统计列的“查看”，进入进度详情页面。
需费用。 查看主机性能数据 在资源配置明细的主机列表中，可以查看每台主机最后采集日期7天/30天内的CPU负载和内存负载平均值。单击“性能分析”，可以查看所有主机的性能分布统计。 更改目的端规格 在资源配置明细区域，单击主机资源操作列的“更改目的端规格”，右侧弹出资源详情窗口。
需费用。 查看主机性能数据 在资源配置明细的主机列表中，可以查看每台主机最后采集日期7天/30天内的CPU负载和内存负载平均值。单击“性能分析”，可以查看所有主机的性能分布统计。 更改目的端规格 在资源配置明细区域，单击主机资源操作列的“更改目的端规格”，右侧弹出资源详情窗口。
需费用。 查看主机性能数据 在资源配置明细的主机列表中，可以查看每台主机最后采集日期7天/30天内的CPU负载和内存负载平均值。单击“性能分析”，可以查看所有主机的性能分布统计。 更改目的端规格 在资源配置明细区域，单击主机资源操作列的“更改目的端规格”，右侧弹出资源详情窗口。
包含丰富的资源数据。 解析数据：MgC将返回的数据进行解析，提取关键信息，如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中，为后续分析和迁移提供支持。 深度采集原理 MgC对AWS 容器资源进行深度采集的原理图，如图2所示。 图2 AWS容器深度采集原理图 对AWS容器资源进行深度采集的过程详细说明如下：
确认账号密码：确保在连接命令中输入的账号和密码是准确无误，错误的凭证会导致登录失败。 请按照以上方法排查，通常能够帮助定位并解决连接问题。如果问题依旧存在，建议联系技术支持人员寻求帮助。 父主题： 常见问题
进行存储迁移时，如何选择集群规格？ 使用MgC进行存储迁移时，我们推荐使用C6和C7系列中8U16G的规格，即c6.2xlarge.2或c7.2xlarge.2。具体的规格详情和用途如下。 规格名称 带宽 用途 通用计算增强型c6 | c6.2xlarge.2 | 8vCPUs |
不使用EIP场景下进行大数据数据迁移 本节介绍不具备公网场景下MgC Agent（原Edge）通过SNAT/VPN等方式完成大数据迁移和对数的操作方法。本文以阿里云作为源端，MgC Agent安装在阿里云ECS进行举例。 步骤一：配置华为云VPN 参考站点入云VPN企业版的华为云
创建并运行元数据同步任务 利用元数据连接，创建元数据同步任务，将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下： Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi（有元数据）连接 Hudi（无元数据）连接
创建并运行元数据同步任务 利用元数据连接，创建元数据同步任务，将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下： Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi（有元数据）连接 Hudi（无元数据）连接
使用迁移中心进行迁移前，需要做哪些准备工作？ 注册华为账号开通华为云，并实名认证。 如果使用IAM用户登录MgC进行操作，需要为IAM用户配置迁移中心权限。 获取账号/IAM用户的AK/SK。 父主题： 产品咨询
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校验方法。通过一致性校验，您可以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校验方法。通过一致性校验，您可以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：
3特性和jar程序访问DLI元数据特性，请联系DLI服务的技术支持人员申请开通。 （可选）开通DLI服务Spark生命周期白名单 如果待迁移的元数据有生命周期表（即DDL带有LIFECYCLE字段），请联系DLI服务的技术支持人员申请开通Spark生命周期特性白名单。 （可选）开通100网段白名单
如何获取Linux版本的MgC Agent（原Edge）各种运行日志？ 查看MgC Agent各种日志文件 执行如下命令，进入MgC Agent安装目录中的日志目录。该目录包含了MgC Agent运行时产生的各种日志文件。 cd /opt/cloud/Edge/logs/edge-server
3特性和jar程序访问DLI元数据特性，请联系DLI服务的技术支持人员申请开通。 （可选）开通DLI服务Spark生命周期白名单 如果待迁移的元数据有生命周期表（即DDL带有LIFECYCLE字段），请联系DLI服务的技术支持人员申请开通Spark生命周期特性白名单。 （可选）开通100网段白名单
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接，将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake（有元数据）支持创建数据湖元数据同步任务。 Delta Lake（无元数据）只能通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
