检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? 该问题可分为以下两种情况来说明: 如何保证增量数据如何迁移过来? 参见增量迁移对象数据。 源端数据有更新,如何同步过来? 需要重新全量迁移,OMS会自动识别更新后对象进行覆盖,具体覆盖条件请参考迁移是否会影响目的端桶的已有数据。
使用“回源配置方案”迁移增量对象数据 本节指导用户使用回源配置方案迁移增量对象数据。 优势 此方案优势在于: 业务零中断,增量迁移间未同步的数据通过回源配置保证用户无感知。 可靠性高,割接前可提前验证,迁移后可校验。 操作流程 “回源配置方案”迁移增量对象数据流程图,如图1所示。
查询租户配额数据 功能介绍 查询指定Domain的配额数据。 URI GET /v1/{domain_id}/objectstorage/quotas 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 domain_id 是 租户ID。 请求消息 请求参数 无。 响应消息
背景信息 本教程讲解了如何将优刻得对象存储(US3)上的数据迁移到华为云对象存储 OBS。 华为云对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移服务,可以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object
迁移网络模型 对象存储迁移服务(OMS)的网络模型设计考虑了数据的传输效率、安全性和可靠性。OMS支持大文件分片、大量数据的快速迁移。同时,它还支持断点续传功能,即使在迁移过程中遇到网络中断等异常情况,也能从断点处继续传输,确保数据的完整性和迁移的连续性。 图1 网络模型图 场景一:跨Region/跨云迁移
OMS同步任务可以指定时间段吗? OMS同步任务不支持指定时间段。 OMS同步任务是通过函数工作流触发同步任务,当源端对象新增/修改时,OMS会做及时同步,因此没有设计指定时间段同步。 父主题: 产品咨询
修订记录 发布日期 修订记录 2024-03-22 第二十三次正式发布。 新增迁移工作原理 新增迁移网络模型 2023-10-17 第二十二次正式发布。 更新计费说明中的API请求次数。 2023-06-20 第二十一次正式发布。 约束与限制新增“迁移范围”、“迁移速度”、“归档数据”限制说明。
迁移是否会影响目的端桶的已有数据 对象存储迁移对目的端桶已有数据的影响,主要看目的端桶与源端桶是否有同名对象。 不存在同名对象,OMS迁移服务对目的桶已有数据无影响。 迁移过程中,不会修改目的端桶的已有数据。 迁移完成后,不会删除目的端桶的已有数据。 存在同名对象,会根据创建任务
迁移对源端数据是否有影响?源端数据改变对迁移结果有什么影响? 迁移对源端数据无影响 迁移过程中不会对源端数据进行修改。 迁移时不会对源端的对象进行锁定。 迁移完成后,不会删除源端的数据。 迁移可能会对用户业务产生影响 迁移过程中如果速度过快,可能对源端计费(CDN)或业务造成一定
创建单个迁移任务 操作场景 使用对象存储迁移服务创建对象存储任务,对您的对象数据实施迁移。 本节以选择文件/文件夹迁移方式为例进行介绍。 OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。
对象存储迁移流程 您可直接登录管理控制台进行对象存储迁移操作,迁移流程如图1所示。 图1 对象存储迁移流程 具体说明: 创建源端和目的端的访问密钥(AK/SK)。 源端:参见源端云服务提供商的相关资料。 目的端:参见创建访问密钥(AK/SK)。 在对象存储服务中创建用于存放迁移数据的桶。
创建迁移任务 本节介绍创建迁移任务的操作步骤。 OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。
创建迁移任务组 本节介绍创建迁移任务组的操作步骤。 OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。
设置“保存到指定前缀”参数 功能介绍 “保存到指定前缀”参数功能包括: 目的端增加前缀 目的端增加前缀是指在创建迁移任务/迁移任务组时,设置“保存到指定前缀”参数,设置后源端对象迁移到目的端,会在对象名前增加设置的前缀。 例如: 源端迁移对象文件为:oms_a.txt、oms_b
创建同步任务 使用场景 同步任务用于源端变更对象主动同步的场景,通过在源端对象存储服务配置事件触发器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步接口,即时将数据同步到华为云OBS侧。 同步任务依托于源端事件触发器、函数工作流服务以及公网传输,可能存在
查看迁移任务 创建迁移任务后,您可以随时通过任务详情查看迁移进度以及进行一些后续操作。 查看迁移任务详情 登录管理控制台,进入“对象存储迁移服务”页面。 在左侧导航树,选择“迁移任务”,进入到“迁移任务”页面。在迁移任务列表上方的搜索框,设置条件过滤迁移任务。 迁移任务组ID:如
创建迁移任务 适用场景 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。 如果单个桶数据量大于3 TB或对象个数大于500万,建议您创建迁移任务组来进行迁移。 OMS默认会将等待超过30天未调度的任务
迁移流程 对象存储迁移服务 OMS的迁移工作原理图,如图1所示。 图1 迁移工作原理图 迁移工作流程说明: OMS服务请求获取一定数量的源端对象列表。 源端响应对象列表。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据。
查询指定ID的任务 功能介绍 查询租户指定ID的任务信息。 URI GET /v1/{project_id}/objectstorage/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 task_id
源端配置同步请求 操作场景 创建同步任务后,您需要在源端配置同步请求,以确保源端云服务提供商的对象存储服务可以针对源端新增、修改对象实时调用OMS同步接口(例如通过消息通知或函数计算服务方式),以完成对源端新增、修改对象数据的同步迁移。 源端同步请求配置条件 实时获取源端新增、修改对象名称。