检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。
DeltaLake(有元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。
表路径映射(可选) 用于确保在元数据迁移过程中,MaxCompute外表的元数据能够正确地迁移到目的端指定的存储位置,即在OSS中的源路径自动映射为目的端指定的OBS路径。 映射到目的端OBS的路径需要提前创建,并且除桶名以外,其余目录需要与源端OSS目录保存一致。
表1 公有云认证方式 资源类型 认证方式 说明 公有云 AK/SK 适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。 配置文件 适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。
由于华为云使用的XEN虚拟化平台所有版本都停售,因此需要您在迁移前将主机规格从XEN规格变更为KVM规格。XEN规格停售详细介绍请参见XEN实例停止服务说明及常见问题。 迁移准备 检查主机是否为XEN规格 可以在主机的基本信息页面,通过主机规格名称来判断是否为XEN规格。
单击“确定”,系统会自动检查凭证绑定状态和进行深度采集。首次深度采集完成后,可以单击深度采集列的“重新采集”按钮,进行多次深度采集。 父主题: 采集主机资源
与目的端区域保持一致。 集群类型 选择集群使用场景。 当前仅支持存储迁移场景。 节点创建 Master节点ECS规格 用于管理迁移节点和列举节点,默认创建,无需配置。
安全组 Windows系统开放8899端口、8900端口和22端口。 Linux系统当前仅支持文件级迁移,需要开放22端口。 注意: 以上端口,建议只对源端服务器开放。 防火墙开放端口与操作系统开放端口保持一致。
创建系统盘镜像 选择“是”,将基于源端系统盘创建系统盘镜像,便于后续目的端重装系统。 选择“否”,不创建系统盘镜像。 高级设置 自动删除镜像 选择开启时,业务割接后自动删除迁移过程中产生的备份、快照及镜像文件。
导入数据表时,系统不会校验数据表加入的分组数量和对数标准。为保持对数的准确性,建议同一数据表加入的分组不超过3个,并避免加入对数标准相同的分组。 前提条件 已完成准备工作。 已创建源端连接。 创建表组 登录迁移中心管理控制台。
表1 迁移准备度参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。 IP 选择主机接入IP,可以为公网IP,也可以是私有IP;在需要使用代理连接主机的情况下,也可以自行输入接入IP。
用于迁移前评估 mac 主机MAC地址 用于迁移前评估 cpuType CPU类型 用于迁移前评估 cpuCores CPU核数 用于迁移前评估 mem 内存 用于迁移前评估 hostType 主机类型 用于迁移前评估 virtualType 虚拟化类型 用于迁移前评估 osType 操作系统类型
工作流配额限制说明 为确保资源的合理分配和系统的稳定运行,在创建工作流时,设定了以下配额限制。请在创建工作流前了解这些限制,以避免因超出配额而导致创建失败。 日创建上限:在同一项目下,每天允许创建的迁移工作流数量上限为50个。
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。
上传日志:如果您需要查看作业的执行日志,可以使用上传日志功能,将日志文件上传到您的对象存储(OBS)桶中,以便随时查看和分析。使用上传日志功能前,需要您先在迁移工具Edge上配置日志桶,配置方法请参见配置日志桶。
已注册华为账号并开通华为云,并获取账号的AK/SK。 已在MgC控制台创建迁移项目。 使用须知 源端主机需要对安装Edge的Windows主机开放指定端口: Windows开放5985端口。 Linux开放22端口。
已注册华为账号并开通华为云,并获取账号的AK/SK。 已在MgC控制台创建迁移项目。 使用须知 源端主机需要对安装Edge的Windows主机开放指定端口: Windows开放5985端口。 Linux开放22端口。
列表字段映射关系参见下表: MgC主机资源列表 SMS迁移服务器列表 字段类型 主机名 服务器名称 源端主机的hostname IP地址 源端IP 源端主机的IP 镜像 操作系统 源端主机的操作系统 - 目的端 迁移目的端ECS名称 通过工作流创建SMS迁移任务 创建主机迁移工作流完成后
配置VPC终端节点完成后,登录弹性文件服务管理控制台,在左侧导航栏选择“通用文件系统 > 文件系统列表”进入文件系统列表页面。 单击文件系统名称,进入该文件系统详情页面。在左侧导航栏选择“权限管理”,单击“添加授权”按钮。 根据表1,配置授权参数,单击“确定”添加完成。