检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DeltaLake不存在元数据，无法通过数据湖元数据同步方式进行数据采集，需要通过导入数据的方式获取元数据信息。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent（原Edge）并注册用户，方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。在总览页面，单击“创建迁移项目”。
本文主要介绍MRS Doris版本间数据迁移后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent（原Edge）并注册用户，方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。在总览页面，单击“创建迁移项目”。
参数值：spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时，请添加如下参数： 参数名：master 参数值：local 在元数据采集区域，单击“采集任务”，进入元数据采集页面。
MaxCompute数据迁移至华为云数据湖探索 DLI后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent（原Edge）并注册用户，方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。在总览页面，单击“创建迁移项目”。
迁移中心会整理源端资源和应用间的关联关系，并且绘制技术架构图和应用依赖图，为后续迁移计划的制定和目的端架构设计提供帮助。 前提条件 已导入应用关联文件或导入工具采集结果。 查看技术架构图 在应用管理页面，单击应用列表中的“技术架构图”，可以查看所有服务、微服务、资源的矩阵图。 选择服务，单击鼠标右
迁移中心会整理源端资源和应用间的关联关系，并且绘制技术架构图和应用依赖图，为后续迁移计划的制定和目的端架构设计提供帮助。 前提条件 已导入应用关联文件或导入工具采集结果。 查看技术架构图 在应用管理页面，单击应用框中的“技术架构图”，可以查看所有服务、微服务、资源的矩阵图。 选择服务，单击鼠标右键
所属源 仅需在源端创建元数据连接。 连接名称 默认创建名称为“Hive-Metastore-4位随机数（字母和数字）”，也可以自定义名称。 迁移工具 选择在源端环境中部署迁移中心Agent。 启用安全连接 选择是否启用安全连接。 MetaStore在非安全集群下，可以不启用安全连接。
数Linux服务器发行版默认启用SSH服务。 SSH密码认证：确保所有源端主机的SSH服务已配置为接受密码认证，以便脚本可以使用CSV文件中提供的密码进行自动登录。 脚本执行机环境配置 确保执行脚本的Linux主机上安装了以下必要的工具和命令： SSH工具：用于建立与远程主机的安全连接。
X，则推荐创建的VPC网段是10.0.0.0/8，同时创建一个子网，网段也是10.0.0.0/8。 子网 子网网段与虚拟私有云网段相同。 安全组 Windows系统开放8899端口、8900端口和22端口。 Linux系统当前仅支持文件级迁移，需要开放22端口。 注意： 以上端口，建议只对源端服务器开放。
最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前，请联系技术支持人员，将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集 父主题： 旧版
最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前，请联系技术支持人员，将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。
资源采集 在线调研 内网采集 导入RVTools资源 导入阿里云资源清单 导入应用关联文件 导入工具采集结果 手动添加资源 采集主机性能 关联应用 父主题： 新版
复杂项目 公网发现与采集 内网发现与采集 导入应用关联文件 导入工具采集结果 导入阿里云资源清单 导入RVTools资源 父主题： 资源采集
单击左侧导航栏的“设计>迁移方案设计”，进入迁移方案设计页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击迁移工具评估框中的“查看评估表”，进入迁移工具评估页面。 在主机页签，可以看到所有主机资源列表。 如果需要评估列表中所有“待评估”状态的主机，单击“批量评估”按钮，在
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“设计>迁移方案设计”，进入迁移方案设计页面。 单击迁移工具评估框中的“查看评估表”，进入迁移工具评估页面。 在主机页签，可以看到所有主机资源列表。 如果需要评估列表中所有“待评估”状态的主机，单击“批量评估”按钮，在
MRS 3.1.0版本普通集群使用YARN模式的换包操作指南 操作场景 本指导介绍在创建HBase指定时间校验任务时，使用YARN模式需要进行的换包操作及相关步骤。 操作步骤 换包操作。 在安装MgC Agent的主机，执行如下命令，进入MgC Agent指定目录。 cd /op
计费模式：建议选择按需计费。 带宽大小：推荐5 Mbit/s。 安装迁移工具Edge并连接迁移中心 安装Edge工具：在购买的ECS主机上，安装用于配合数据校验的工具Edge，方法请参见安装Linux版本的Edge工具。 注册Edge用户：在浏览器中访问Linux主机的网卡IP地址+端
catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时，请添加如下参数： 参数名：master 参数值：local 如果源端是阿里云 EMR Delta 2.1.0版本并且配置了Spark 2.4.8来处理Delta Lake数据，请添加如下参数：
而实现更好的组织管理和资源分配。 下载并安装MgC Agent（原Edge） MgC Agent是用于配合迁移中心进行源端资源发现与采集的工具，同时MgC Agent还提供了工作流模块，用于配合云端迁移工作流任务。 采集主机资源 通过公网采集/内网采集/手动添加等方式，获取源端主机资源。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
