检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移工作原理 概述 迁移流程 数据识别与准备 数据迁移 数据安全与完整性保障
概述 对象存储迁移服务(OMS)的原理主要基于数据复制、同步和传输技术的综合运用,旨在帮助用户高效、安全地将其他云服务商对象存储服务中的数据在线迁移至华为云OBS。 父主题: 迁移工作原理
迁移流程 对象存储迁移服务 OMS的迁移工作原理图,如图1所示。 图1 迁移工作原理图 迁移工作流程说明: OMS服务请求获取一定数量的源端对象列表。 源端响应对象列表。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据。
储系统拉取数据。同时,服务会确保数据的完整性和一致性,避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能,当迁移过程中出现网络中断或其他异常情况时,服务可以从断点处恢复传输,确保数据的完整性和迁移的连续性。 父主题: 迁移工作原理
数据识别与准备 在迁移开始前,华为云OMS服务会先对源端存储系统中的数据进行识别,包括对象大小、最后修改时间以及位置等关键信息。基于这些信息,服务会为用户生成一个对应的迁移任务配置,确保迁移过程的高效性和准确性。 父主题: 迁移工作原理
数据安全与完整性保障 数据安全与完整性保障详细参考数据保护技术。 父主题: 迁移工作原理
迁移时不会对源端的对象进行锁定。 迁移完成后,不会删除源端的数据。 迁移可能会对用户业务产生影响 迁移过程中如果速度过快,可能对源端计费(CDN)或业务造成一定影响。建议根据实际业务添加限速策略,具体操作请参见创建单个迁移任务中“流量控制”说明。 迁移中源端产生的相关费用用户未提
迁移是否会影响目的端桶的已有数据 对象存储迁移对目的端桶已有数据的影响,主要看目的端桶与源端桶是否有同名对象。 不存在同名对象,OMS迁移服务对目的桶已有数据无影响。 迁移过程中,不会修改目的端桶的已有数据。 迁移完成后,不会删除目的端桶的已有数据。 存在同名对象,会根据创建任务
需更高的迁移效率,建议使用迁移中心MgC的存储迁移工作流进行迁移。迁移中心MgC提供独享的集群资源,能够动态扩展迁移性能,最高支持20Gbit/s带宽。 迁移速度的影响因素很多,比如迁移的对象大小、正在迁移的对象个数、网络传输情况等。在不考虑网络环境的情况下分析迁移速度慢的原因可能有下面几个方面:
源端对象存储访问频率过高导致迁移失败怎么办? 为保证较高的迁移速率,迁移任务执行过程中,对象存储迁移服务会以较高频率调用源端对象存储API。由于某些源端对象存储对访问频率进行了限制,当访问频率过高时就会导致迁移任务失败。 解决办法: 联系源端云服务提供商,修改源端对象存储对访问频率的限制值以满足迁移的要求。 通过API
源端云服务商不在OMS支持范围,该如何迁移? 若需要迁移的是NAS文件系统,请选用迁移方式一。 若源端对象可以通过HTTP或HTTPS公开访问,且用户能够自行列举出所有待迁移对象名称和对应的下载链接,可选用迁移方式一或迁移方式二。 迁移方式一 请前往迁移中心MgC,并使用其提供的存储迁移工作流进行迁移。迁移中心
修订记录 发布日期 修订记录 2024-03-22 第二十三次正式发布。 新增迁移工作原理 新增迁移网络模型 2023-10-17 第二十二次正式发布。 更新计费说明中的API请求次数。 2023-06-20 第二十一次正式发布。 约束与限制新增“迁移范围”、“迁移速度”、“归档数据”限制说明。
目的端桶存在客户业务系统切换到华为云后,自主写入的新增对象/OMS上传的对象列表文件。 源端对象大小<目的端对象大小 可能原因: 目的端桶存在OMS上传的相关配置文件。 您可以清除相关配置文件,清除后相关迁移报告将无法恢复。 目的端桶存在残留的碎片文件(任务暂停后未重新恢复,OMS默认会在目的端存在碎片文件)。
更新指定id的迁移任务组的流控策略 功能介绍 当迁移任务组未执行完成时,修改迁移任务组的流量控制策略。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/taskgroups/{group_id}/update 表1 路径参数 参数 是否必选 参数类型
将用户添加到用户组,用户将拥有用户组相应的权限(即自定义策略),详细步骤请参见用户组添加用户。 迁移用户的“访问方式”必须同时勾选“编程访问”和“管理控制台访问”。 授权后需等待15-30分钟才可生效。 目的端桶权限获取 目的端桶需要的权限包括:列举桶内对象,获取桶区域位置,获
和其他服务的关系 对象存储迁移服务与其他服务的关系如表1所示。 表1 与其他服务的关系 相关服务 交互功能 位置 对象存储服务(Object Storage Service,OBS) 将源端对象数据迁移至华为云创建的OBS桶中。 创建单个迁移任务 创建迁移任务组 数据加密服务(Data
region String 源端桶所处的区域。 list_file JSONObject 数据格式为JSON格式,参见表4。 object_key JSONArray 源端桶选择的对象名称。每个元素均为对象的绝对路径。 bucket String 源端桶的名称。 cloud_type String
String 源端桶所处的区域。 list_file JSONObject 数据格式为JSON格式,参见表4。 object_key JSONArray 源桶选择的对象名称,JSONArray格式。每个元素均为对象的绝对路径。 bucket String 源端桶的名称。 cloud_type
查询某个租户的任务总数 功能介绍 查询某个租户的任务总数。 URI GET /v1/{project_id}/objectstorage/task?totalcount={true}&state={state} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id
启动OMS迁移任务之后,触发函数工作流循环检查该迁移任务的执行状态,当迁移任务状态为失败时: 如果该迁移任务为单个迁移任务,函数工作流调用OMS的API重启该迁移任务。 如果该迁移任务为迁移任务组中的任务,函数工作流调用OMS的API检查迁移任务组的状态,直至迁移任务组的状态为失败,重新启动迁移任务。