检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验
表2 MgC操作与系统策略关系 操作 MgC FullAccess MgC ReadOnlyAccess MgC DiscoveryAccess MgC AssessAccesss MgC MigrateAccess MgC AppDiscoveryAccess 操作迁移中心资源
DeltaLake（有元数据）迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake存在元数据，可通过数据湖元数据同步方式进行数据采集
不使用EIP场景下进行大数据数据迁移 本节介绍不具备公网场景下Edge通过SNAT/VPN等方式完成大数据迁移和对数的操作方法。本文以阿里云作为源端，Edge安装在阿里云ECS进行举例。 步骤一：配置华为云VPN 参考站点入云VPN企业版的华为云控制台操作步骤，分别配置VPN网关、
元数据全量迁移 将源端数据库中的所有元数据迁移到华为云数据湖探索（DLI） 。 元数据迁移不支持事务表（即DDL中带有transactional=true字段的表）。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择
DeltaLake（无元数据）迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据，无法通过数据湖元数据同步方式进行数据采集
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接，将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake（有元数据）支持创建数据湖元数据同步任务。 Delta Lake（无元数据）只能通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据
获取方法：在迁移工具Edge所部署主机的“/opt/cloud/Edge/tools/plugins/collectors/bigdata-migration/deltaSpark”路径下获取。
评估、主机评估 { "Version": "1.1", "Statement": [ { "Action": [ "mgc:*:query*", "mgc:*:discovery
系统策略 MgC AppDiscoveryAccess策略内容 MgC MrrAccess 迁移中心业务验证操作权限，拥有业务验证功能的权限和只读权限。
创建元数据连接 创建元数据来源类型的连接，获取源端大数据库表清单。 目前支持的连接类型，参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake（有元数据） Delta Lake
MaxCompute迁移至DLI数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云数据湖探索 DLI后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户，方法请参见安装Linux版本的
如何防止采集数据泄露？ MgC通过以下方式确保采集数据的安全： 数据加密传输：采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证：Edge上的凭证信息都会经过加密处理后保存在本地，不会通过网络传输到云端。 本地数据采集与存储：通过Edge线下采集的信息会被安全地保存在本地。
图2 选择要采集的资源类型 表2 支持采集的资源类型 云平台 资源类型 子类型 阿里云 主机 容器 大数据 数据库 - 中间件 Redis Kafka 存储 对象存储 文件存储 网络 云连接 负载均衡（ALB、CLB） 专线 公网域名 内网域名 弹性公网IP 公网NAT网关 路由表
\diskInfo.ps1 无 功能类 eachDiskPerformance.ps1 /Edge/tools/plugins/collectors/rda-collector-server/powershell 是 查询磁盘性能信息 .
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台
cd /opt/cloud/Edge/scripts/ 执行如下命令，启动Edge。 ./start.sh 当出现如下图所示提示时，表示Edge已经启动。 执行如下命令，查看Edge进程。 ps -ef |grep edge 当出现如下图所示提示时，表示Edge进程已经启动。
MaxCompute迁移至MRS Hive数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云MRS Hive后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户，方法请参见安装Linux
归档存储（冷存储）数据迁移 背景概述 冷存储是一种针对不频繁访问数据的长期备份解决方案，例如，平均一年访问一次的归档存储或平均几年访问一次的深度归档存储。这种存储方式具有高安全性、持久性和成本低等优势。 在迁移冷存储数据时，一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻结
cd /opt/cloud/Edge 执行如下命令，可查看Edge的版本信息。 cat version.txt 父主题： 常见问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
