检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DeltaLake（有元数据）迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake存在元数据，可通过数据湖元数据同步方式进行数据采集。
径。例如：桶名为“mgc01”，填写的文件夹为“/test”，则日志文件存放路径为：obs://mgc01/test/bigdata/task/日期/任务实例ID/日志文件；内容校验结果存放路径为：obs://mgc01/test/bigdata/task/任务实例ID/数据库名/表名/内容校验结果文件
配置文件存储批量迁移方案 本节介绍为文件存储批量迁移配置迁移方案的方法。 文件存储批量迁移：适用于源端有多个文件存储地址内的资源需要迁移的场景。如果只有单个文件存储地址内的资源需要迁移，请直接创建单个文件存储迁移工作流。 准备工作 创建迁移项目。 在MgC控制台为本次迁移创建独立的项目，方法请参见项目管理。
jar包的OBS路径，以数组形式传入，路径带双引号，以英文逗号隔开。例如：["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog
华为云主机跨可用区迁移 适用场景 本文介绍如何使用迁移中心MgC将华为云可用区的主机搬迁到其他可用区，适用于大批量主机跨可用区迁移。30台以下的小规模、单批次迁移请使用主机一站式跨可用区迁移。 准备工作 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，获取方法请参见准备工作。
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”，进入资源采集页面。 在手工导入页签，单击“手工导入”，弹出手工导入窗口。 图1 手工导入 选择“阿里云资源清单导入”，在资源类型下拉列表中，选择要导入的资源类型，并上传对应的资源清单。 图2 选择资源类型
配置文件存储批量迁移方案 本节介绍为文件存储批量迁移配置迁移方案的方法。 文件存储批量迁移：适用于源端有多个文件存储地址内的资源需要迁移的场景。如果只有单个文件存储地址内的资源需要迁移，请直接创建单个文件存储迁移工作流。 准备工作 创建迁移项目。 在MgC控制台为本次迁移创建独立的项目，方法请参见项目管理。
jar包的OBS路径，以数组形式传入，路径带双引号，以英文逗号隔开。例如：["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog
内网发现与采集 在源端内网环境中部署Edge工具，通过网段扫描或VMware扫描的方式，发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括：VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机
内网发现与采集 在源端内网环境中部署Edge工具，通过网段扫描或VMware扫描的方式，发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括：VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机
if (-not (Test-Path $csvFile)) { Log-Error "CSV file '$csvFile' not found." exit 1 } # Verify hosts file if (-not (Test-Path $hostsFile))
创建元数据连接 创建元数据来源类型的连接，获取源端大数据库表清单。 目前支持的连接类型，参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake（有元数据） Delta Lake（无元数据）
Agent远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景，针对不同云服务提供商（友商）的云资源进行数据采集。使用API接口与其它云服务提供商的系统进行交互，实现数据的在线采集。不需要在源端网络中安装MgC Agent。 数据采集架构图，如图2所示。 图2 调用API在线采集云平台资源架构图
采集主机性能 迁移中心支持对主机资源进行性能数据采集，获取源端主机的CPU、内存负载、磁盘IOPS，内网出入流量，网络出入包速率，网络连接数等性能信息。在后续进行目的端规格评估时，可以根据采集到的源端主机实际性能负载推荐目的端主机CPU核数、内存大小等性能规格。 使用须知 开始采集后，默认每5分钟进行一次数据采集。
场景进行数据校验。 不支持两端均为HBase 2.x不同版本的安全集群数据校验，因为不同版本间存在版本兼容性限制、安全认证机制差异、协议和接口不一致以及特性支持和配置不同等问题，都会影响校验结果。 前提条件 已创建表组并添加数据表。 已根据组件类型，创建对应的连接。 操作步骤 登
采集主机性能 迁移中心支持对主机资源进行性能数据采集，获取源端主机的CPU、内存负载、磁盘IOPS，内网出入流量，网络出入包速率，网络连接数等性能信息。在后续进行目的端规格评估时，可以根据采集到的源端主机实际性能负载推荐目的端主机CPU核数、内存大小等性能规格。 本文介绍在应用详
Initialize log directory and files function Initialize-Logs { if (-not (Test-Path $logDir)) { New-Item -Path $logDir -ItemType Directory
采集主机性能 迁移中心支持对主机资源进行性能数据采集，获取源端主机的CPU、内存负载、磁盘IOPS，内网出入流量，网络出入包速率，网络连接数等性能信息。在后续进行目的端规格评估时，可以根据采集到的源端主机实际性能负载推荐目的端主机CPU核数、内存大小等性能规格。 使用须知 通过V
创建统计任务并执行校验 利用创建的源端连接和目的端连接，分别创建源端和目的端统计任务，获取源端和目的端的数据信息，以便于进行数据校验。 支持的大数据组件和统计方式说明请参见大数据校验概述。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 HBase安全集群任
采集主机性能 迁移中心支持对主机资源进行性能数据采集，获取源端主机的CPU、内存负载、磁盘IOPS，内网出入流量，网络出入包速率，网络连接数等性能信息。在后续进行目的端规格评估时，可以根据采集到的源端主机实际性能负载推荐目的端主机CPU核数、内存大小等性能规格。 本文介绍在应用详
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
