检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。
DeltaLake(有元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。
表1 各资源认证方式 资源类型 认证方式 说明 公有云 AK/SK 配置文件 ID/密钥 AK/SK适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。 配置文件适用于添加谷歌云平台凭证。
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。
根据源端主机规格、性能和应用场景等,为您推荐最合适的华为云对应主机规格,通过规格评估确定迁移目的端。方法请参考规格评估。 主机规格评估完成后,可以根据实际需求,选择是否进行如下操作: 更改目的端规格:调整目的端主机规格和磁盘规格,支持磁盘缩容。
元数据增量感知 识别出上一次迁移后,在源端数据库中发生变化的元数据,并同步至目的端华为云数据湖探索(DLI)。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。
添加/修改迁移目的端凭证。 添加源端云平台/主机凭证。 父主题: 云边协同
元数据全量迁移 将源端数据库中的所有元数据迁移到华为云数据湖探索(DLI) 。 元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 操作步骤 登录迁移中心控制台。
表1 公有云认证方式 资源类型 认证方式 说明 公有云 AK/SK 适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。 配置文件 适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。
影响大对象迁移速度的关键因素有哪些? 在迁移大对象的过程中,迁移集群的以下几个关键因素可能会影响迁移速度: 网络带宽限制:网络带宽不足,可能成为迁移速度的主要制约因素。 建议:升级带宽或选择低峰时段进行迁移。
数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包 在华为云OBS创建一个存储桶,并将数据迁移过程中所依赖的 Java 文件(jar包)上传至该OBS桶。创建OBS桶的方法请参考创建桶。上传文件的方法请参考上传对象。
步骤二:将导出的文件上传至OBS 登录华为云OBS控制台,创建一个用于存储RVTools导出资源文件的标准存储桶。方法请参考创建桶。 参考上传对象,将导出的RVTools资源文件上传至OBS标准存储桶。 步骤三:导入RVTools资源 登录迁移中心控制台。
目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
由于华为云使用的XEN虚拟化平台所有版本都停售,因此需要您在迁移前将主机规格从XEN规格变更为KVM规格。XEN规格停售详细介绍请参见XEN实例停止服务说明及常见问题。 迁移准备 检查主机是否为XEN规格 可以在主机的基本信息页面,通过主机规格名称来判断是否为XEN规格。
与目的端区域保持一致。 集群类型 选择集群使用场景。 当前仅支持存储迁移场景。 节点创建 Master节点ECS规格 用于管理迁移节点和列举节点,默认创建,无需配置。
主机一站式跨可用区迁移 适用场景 本文介绍如何使用迁移中心MgC将华为云上的云主机从可用区A快速搬迁到可用区B。适用于30台以下单批次、跨可用区主机迁移,无需手动采集、分组、评估,一站式解决创建工作流前所有步骤。
表1 存储迁移通用约束与限制 类别 约束与限制 多版本对象迁移 默认只迁移源端多版本对象中的最新版本,不支持迁移历史版本的对象存储数据。 目的端桶存储类别 目的端桶的存储类别只能为标准存储或者低频访问存储。迁移完成后,可以自行修改桶的存储类别。
IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见《IAM产品介绍》。
步骤二:将导出的文件上传至OBS 登录华为云OBS控制台,创建一个用于存储RVTools导出资源文件的标准存储桶。方法请参考创建桶。 参考上传对象,将导出的RVTools资源文件上传至OBS标准存储桶。 步骤三:导入RVTools资源 登录迁移中心控制台。