检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移工作原理 概述 迁移流程 数据识别与准备 数据迁移 数据安全与完整性保障
迁移时长 我如何能知道迁移任务的速度? 为什么显示已传输量在增加,但是迁移进度没有增加? 为什么有时候迁移速度会很慢? 跨区域迁移时,迁移速率慢且失败对象较多,如何处理?
修订记录 发布日期 修订记录 2024-05-07 第十五次正式发布。 新增阿里云OSS配置同步请求 新增腾讯云COS配置同步请求 2024-03-22 第十四次正式发布。 新增自动检查并重启失败的迁移任务 新增青云QingStor迁移至华为云OBS教程 新增谷歌云storage迁移至华为云
迁移任务 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。 对客户开放迁移任务API,客户可根据自身业务诉求进行定制化开发,例如周期性定时创建同步任务。 创建迁移任务 查看迁移任务 管理迁移任务
权限管理 创建用户并使用OMS
安全 身份认证与访问控制 数据保护技术 风险提示 审计与日志
API概览 对象存储迁移服务提供了版本查询接口和任务管理接口,如表1所示。 表1 对象存储迁移服务接口列表 类型 说明 查询API版本信息列表 查询对象存储迁移服务的API版本信息。 查询指定API版本信息 查询对象存储迁移服务指定API版本信息。 查询迁移任务列表 查询用户账户下的所有任务信息
约束与限制 OMS迁移任务限制如表1所示。 表1 OMS迁移任务限制 类别 限制 多版本对象迁移 OMS默认只迁移源端多版本对象中的最新版本,不支持迁移历史版本的对象存储数据。 目的端桶存储类别 目的端桶的存储类别只能为标准存储或者低频访问存储。迁移完成后,可以自行修改桶的存储类别
风险提示 OMS根据源端厂商对象存储服务和华为云对象存储服务接口及协议,进行认证和一致性校验,涉及MD5、SHA1、CRC64以及基于MD5的HMAC算法的使用,存在因源端发生hash碰撞,导致要迁移的数据和实际迁移的数据不一致的风险,为确保数据一致性,可以在迁移后再次对源端、目的端数据进行完整的内容校验
产品功能 对象选择 选择源端对象:支持多种对象选择方式,包括文件/文件夹、对象列表、指定对象前缀。 按条件过滤源端对象:支持迁移指定时间后的源端对象。 多任务创建 对于大容量、大规模的对象迁移,对象存储迁移服务提供了创建迁移任务组功能,能够自动划分并创建迁移任务,最大化利用服务的并发性能
迁移完成后,为什么目的端桶对象个数/大小与源端桶对象个数/大小不一致? 源端对象个数/大小>目的端对象个数/大小 源端对象个数>目的端对象个数 可能原因:源端有增量对象或源端扫描有问题。 判断方法:再次创建OMS迁移任务进行增量迁移,查看源端桶扫描对象数与上次迁移时OMS统计的源端桶对象数是否一致
删除任务 功能介绍 调用该接口删除迁移任务。 正在运行的任务不允许删除,如果删除会返回失败。 URI DELETE /v1/{project_id}/objectstorage/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id
启动任务 功能介绍 任务暂停或失败后,调用该接口以启动任务。 URI PUT /v1/{project_id}/objectstorage/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 task_id
数据保护技术 OMS通过以下方式,保障数据迁移的安全性和完整性。 完整性校验:数据迁移完成后,默认通过对象大小/最后修改时间完成数据的完整性校验。详细介绍请参见一致性校验策略。 个人数据加密保护:为了确保您个人数据的安全性,OMS系统通过加密存储个人数据、控制个人数据访问权限以及记录操作日志等方法
查询API版本 功能介绍 查询对象存储迁移服务的API版本信息。 URI GET /v1/{project_id}/objectstorage/version 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 version 否 API
高频常见问题 产品咨询 迁移对源端数据是否有影响?源端数据改变对迁移结果有什么影响? 迁移完成后,如何修改已迁移对象路径? 如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? OMS保证迁移数据一致性的校验策略是什么? 迁移是否会影响目的端桶的已有数据 迁移限制
迁移流程 对象存储迁移服务 OMS的迁移工作原理图,如图1所示。 图1 迁移工作原理图 迁移工作流程说明: OMS服务请求获取一定数量的源端对象列表。 源端响应对象列表。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据
管理迁移任务 操作场景 创建迁移任务后,您可以对迁移任务执行启动/停止、重启、删除等操作。 操作步骤 登录管理控制台,进入“对象存储迁移服务”页面。 对目标迁移任务进行操作。 表1 管理迁移任务 项目 场景 操作 暂停迁移任务 因故暂停正在迁移的任务,比如:当迁移任务并发数超过系统的限制时
创建迁移任务 适用场景 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。 如果单个桶数据量大于3 TB或对象个数大于500万,建议您创建迁移任务组来进行迁移。 OMS默认会将等待超过30天未调度的任务自动设置为失败
概述 对于OMS不适用的数据迁移场景(约束与限制),华为云另外提供了迁移中心MgC进行数据迁移,您可以根据具体迁移场景选择迁移方式。 表1 存储迁移工具 迁移工具 迁移网络 支持迁移的源端存储类型 支持特性 迁移中心MgC 公网/专线 华为云 OBS 阿里云 OSS 百度云 BOS