检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存储迁移相关最佳实践 迁移其他云平台存储数据至华为云 OBS多前缀批量迁移 归档存储(冷存储)数据迁移 SFS1.0迁移至SFS 3.0 NAS到NAS迁移和割接方案 文件存储批量迁移 通过HTTP迁移MinIO存储数据到华为云OBS 通过HTTP迁移Ceph存储数据到华为云OBS
创建并运行元数据同步任务 利用元数据连接,创建元数据同步任务,将源端数据库的库、表、字段信息同步至迁移中心。
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验,校验任务执行成功,查看校验结果,发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。
表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。
步骤一:创建全量迁移工作流 使用MgC存储迁移工作流完成源端数据的全量迁移。 步骤二:创建增量迁移工作流 在全量迁移完成后,再创建增量迁移工作流,进行多次增量数据迁移,以减少数据差异。
创建源端连接 创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。
创建存储迁移工作流 本节介绍如何使用存储迁移标准模板创建存储迁移工作流。 前提条件 已完成准备工作。 已创建集群。 (可选)已打通SFS 1.0、3.0和集群之间的网络 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>迁移工作流”,进入迁移工作流页面。
在元数据采集区域,单击“创建任务 > 元数据同步”按钮,右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明,配置元数据同步任务参数后,单击“确认”按钮,创建元数据同步任务。
当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会出现同名对象。
根据具体的迁移方向,确保对象的路径长度符合目的端系统的要求,以避免迁移失败或数据不一致的问题。 不同存储系统对路径和文件夹长度的限制参见下表: 存储系统 路径和文件夹长度限制 OBS 文件夹和文件路径的最大长度限制均为1023个字节。
解决方案 请耐心等待,尤其是当迁移包含大量数据时。 如果长时间未更新,可以联系技术支持人员以排查潜在问题。 父主题: 存储迁移
创建表组并添加数据表 将源端数据表加入表组中,为后续对数作业做准备。 每次最多支持导入10,000张表。 待导入的表必须属于同一个元数据来源。 导入数据表时,系统不会校验数据表加入的分组数量和对数标准。
新增数据源成功,系统开始对新增的数据源进行采集。 单击采集项,可以查看数据源的采集状态。 父主题: 资源采集
父主题: 大数据数据迁移
表3 目的端信息参数说明 参数 说明 备注 数据站点类型 根据源端存储类型,选择华为云对应的存储类型。 - AK 输入目的端华为云账号的访问密钥。 数据站点类型选择华为云OBS时填写。 SK 输入目的端华为云账号的私有密钥。 桶 选择目的端OBS桶。
表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称。不填则代表同步全部数据库。
在元数据采集区域,单击“创建任务 > 元数据同步”按钮,右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明,配置元数据同步任务参数后,单击“确认”按钮,创建元数据同步任务。
可用区迁移 可用区(AZ)迁移有哪些注意事项? 如何迁移XEN规格的主机? Windows主机迁移后数据盘缺失,如何解决? 可用区迁移错误码处理方法汇总
在ECS资源充足且表数量非常多的情况下,增加元数据连接的数量可以提高数据校验的效率。 为避免数据重复,除了步骤1.创建的第一个元数据连接以外,新增的元数据连接不需要创建同步任务进行元数据采集。 参考创建表组并添加数据表,将源端数据表加入表组中。
表2 迁移方式说明 迁移方式 说明 全量迁移 迁移源端桶/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。列表文件需要存放在目的端桶中。 前缀迁移 通过对象名称或者名称前缀过滤迁移,只迁移与对象名称或名称前缀一致的对象。