检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
迁移方案配置 配置主机迁移方案 配置存储批量迁移方案 配置文件存储批量迁移方案
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明
迁移实施 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题: 大数据数据迁移
如何查询Edge当前版本? 查询Windows版本 进入Edge的安装目录(默认为C:\Edge)。 双击version.txt文件,查看当前Edge版本信息。 查询Linux版本 执行如下命令,进入Edge安装目录。 cd /opt/cloud/Edge 执行如下命令,可查看Edge的版本信息。
下载并安装Edge 安装Windows版本 安装Linux版本
云边协同 添加资源凭证 配置OBS桶 设备管理 事件记录
资源进行深度采集。 创建主机迁移工作流:进行主机迁移,MgC提供高灵活、可定制的迁移工作流,根据采集的源端主机性能数据,推荐最合适的华为云主机规格。 创建大数据迁移任务:进行大数据迁移,支持将阿里云 MaxCompute数据迁移至华为云 数据湖探索(DLI)。 创建大数据校验任务:对大数据进行一致性校验。
构图和依赖图,为后续迁移计划的制定提供帮助。 主机批量迁移 提供高灵活、可定制的迁移工作流,根据采集的源端主机性能数据,推荐最合适的华为云主机规格,帮助用户一站式大批量发起迁移任务。 主机跨可用区迁移 迁移中心支持AZ间迁移场景,并提供AZ迁移工作流模板,帮助您高效、可视化的完成AZ间的资源迁移和业务切换。
需要做的准备工作,让您对迁移中心的功能和操作有个初步认识。 迁移中心目前还支持跨可用区迁移和存储迁移,创建迁移工作流的操作步骤请参考华为云主机跨可用区迁移、迁移其他云平台存储数据至华为云。 操作流程图 使用迁移中心创建主机迁移工作流的操作流程,如图1所示。 图1 创建主机迁移工作流操作流程图
主机一站式跨可用区迁移 适用场景 本文介绍如何使用迁移中心MgC将华为云上的云主机从可用区A快速搬迁到可用区B。适用于30台以下单批次、跨可用区主机迁移,无需手动采集、分组、评估,一站式解决创建工作流前所有步骤。 准备工作 使用MgC之前,您需要拥有一个华为账号或一个可用于访问M
自定义参数说明 在目的端配置中,支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
迁移节点和一个列举节点在线 不可用 所有迁移节点或列举节点不在线 离线 master节点离线,可能是网络中断、ECS删除等原因,请排查Vpcep Service、ECS等资源情况 升级中 升级集群版本中 升级失败 升级集群版本失败 废弃中 30天内无任务运行,废弃集群中 废弃失败
的绝对路径。 挂载信息示例: [root@oms-cluster-ecs filter_test]# pwd /mnt/sts_turbo/mgc/filter_test [root@oms-cluster-ecs- filter_test]# ll drwxr-xr-x 2 root
安装Linux版本 准备工作 建议在源端内网环境中准备一台用于安装Edge的Linux主机,并确保该Linux主机满足以下要求: 可以连接外网,并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名。 安全组的出方向规则中,需要包含8883端口。 操作系统为:CentOS
与目的端区域保持一致。 集群类型 选择集群使用场景。 当前仅支持存储迁移场景。 节点创建 Master节点ECS规格 用于管理迁移节点和列举节点,默认创建,无需配置。 规格与迁移节点规格一致 迁移节点ECS规格 迁移节点用于执行迁移和对比的动作,推荐规格为C系列规格,大小是8U16G。 规格选定后,后续无法更改。
采集主机性能 迁移中心支持对主机资源进行性能数据采集,获取源端主机的CPU、内存负载、磁盘IOPS,内网出入流量,网络出入包速率,网络连接数等性能信息。在后续进行目的端规格评估时,可以根据采集到的源端主机实际性能负载推荐目的端主机CPU核数、内存大小等性能规格。 使用须知 开始采集后,默认每5分钟进行一次数据采集。
采集主机性能 迁移中心支持对主机资源进行性能数据采集,获取源端主机的CPU、内存负载、磁盘IOPS,内网出入流量,网络出入包速率,网络连接数等性能信息。在后续进行目的端规格评估时,可以根据采集到的源端主机实际性能负载推荐目的端主机CPU核数、内存大小等性能规格。 本文介绍在应用详
主机资源发现方式 Edge支持在本地通过以下三种方式发现主机资源: VMware采集:通过vCenter的IP与凭证,一次性发现vCenter下的所有虚拟主机资源。 RvTools导入:将RvTools生成的报告导入到Edge中,从而发现主机资源。 网段扫描:通过扫描指定网段,发现内网中的主机资源。
迁移集群规格:如果迁移集群的规格小于推荐规格(8U16G)可能会因处理能力不足,成为迁移速度的制约因素。 建议:提升集群规格配置或增加计算资源(如ECS实例)。 系统性能管理:在迁移期间,系统的性能资源(如CPU、内存)可能会被被其他任务占用,从而影响迁移速度。 建议:在迁移期间,对占用系