检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据血缘 部署MgC Agent(原Edge) 采集元数据 血缘采集 父主题: 新版
数据范围 按库筛选 即按数据库进行筛选,在数据库参数框中输入需要增量迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 旧版
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 新版
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集 父主题: 旧版
数据范围 按库筛选 即按数据库进行筛选,在数据库参数框中输入待迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖元数据同步任务。
须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 在元数据采集区域,单击“创建任务 > 数据湖元数据同步”按钮,右侧弹出创建任务-数据湖元数据同步窗口。 根据表2,配置数据湖元数据同步任务参数后,单击“确认”按钮,创建数据湖元数据同步任务。
须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 在元数据采集区域,单击“查看库表清单”或“数据表”,进入库表清单页签。 单击“导入数据表”按钮,弹出导入数据表窗口。 单击“xlsx模板下载”,将导入模板下载到本地。打开模板填写对应信息后保存。
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖元数据同步任务。
企业项目ID(可选) 输入目的端DLI数据库所属的企业项目ID。企业项目ID的获取方法请参考如何获取企业项目ID。 内表转换 选择内表进行迁移时,迁移后的数据会存储在DLI中。 选择外表进行迁移时,迁移后的数据会存储在您指定的OBS路径下。
迁移其他云平台存储数据至华为云 适用场景 通过独立专享迁移集群以及配置迁移专线,简单、快捷实现对象存储、文件存储一站式上云,提升上云效率。本文介绍如何使用迁移中心MgC将其他云平台的对象存储或文件存储数据迁移到华为云。
企业项目ID(可选) 输入目的端DLI数据库所属的企业项目ID。企业项目ID的获取方法请参考如何获取企业项目ID。 内表转换 选择内表进行迁移时,迁移后的数据会存储在DLI中。 选择外表进行迁移时,迁移后的数据会存储在您指定的OBS路径下。
步骤六:创建大数据迁移任务 完成步骤一到步骤五的操作,并了解大数据校验任务的使用须知后。按照以下步骤创建大数据数据迁移任务。 创建源端MaxCompute连接。 创建目的端DLI连接。 创建元数据迁移任务或数据迁移任务并执行。
表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。
通过HTTP迁移MinIO存储数据到华为云OBS 本文介绍如何使用迁移中心(MgC)的存储迁移工作流,实现通过HTTP协议将MinIO存储的数据迁移至华为云对象存储服务(OBS)的方法。
通过HTTP迁移Ceph存储数据到华为云OBS 本文介绍如何使用迁移中心(MgC)的存储迁移工作流,实现通过HTTP协议将Ceph存储的数据迁移至华为云对象存储服务(OBS)的方法。
须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 表7 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。
低频访问存储 适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景,例如:文件同步/共享、企业备份等场景。 归档存储 适用于很少访问(平均一年访问一次)数据的业务场景,例如:数据归档、长期备份等场景。归档存储安全、持久且成本极低,可以用来替代磁带库。
须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 表7 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。