检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
概述 对象存储迁移服务(OMS)的原理主要基于数据复制、同步和传输技术的综合运用,旨在帮助用户高效、安全地将其他云服务商对象存储服务中的数据在线迁移至华为云OBS。 父主题: 迁移工作原理
如何调用API 构造请求 认证鉴权 返回结果
project_id 是 项目ID。 请求消息 请求参数 表2 请求参数 参数 是否必选 参数类型 描述 src_node 是 JSONObject 源端节点信息,参见表3。 dst_node 是 JSONObject 目的端节点信息,参见表6。 enableKMS 是 boolean
功能特性 迁移任务 迁移任务组 同步任务
产品功能 对象选择 选择源端对象:支持多种对象选择方式,包括文件/文件夹、对象列表、指定对象前缀。 按条件过滤源端对象:支持迁移指定时间后的源端对象。 多任务创建 对于大容量、大规模的对象迁移,对象存储迁移服务提供了创建迁移任务组功能,能够自动划分并创建迁移任务,最大化利用服务的并发性能。
API概览 对象存储迁移服务提供了版本查询接口和任务管理接口,如表1所示。 表1 对象存储迁移服务接口列表 类型 说明 查询API版本信息列表 查询对象存储迁移服务的API版本信息。 查询指定API版本信息 查询对象存储迁移服务指定API版本信息。 查询迁移任务列表 查询用户账户下的所有任务信息。
修订记录 发布日期 修订记录 2024-05-07 第十五次正式发布。 新增阿里云OSS配置同步请求 新增腾讯云COS配置同步请求 2024-03-22 第十四次正式发布。 新增自动检查并重启失败的迁移任务 新增青云QingStor迁移至华为云OBS教程 新增谷歌云storage迁移至华为云OBS教程
查看审计日志 通过云审计服务,您可以记录与对象存储迁移服务相关的操作事件,如下列各表所示。 您可以查看这些操作,以评估对服务的影响,具体请参见查看追踪事件。 在云审计的事件查询条件中,“事件来源”选择“OMS”。 表1 云审计服务支持的对象存储迁移服务资源类型列表 资源名称 资源类型
迁移网络模型 对象存储迁移服务(OMS)的网络模型设计考虑了数据的传输效率、安全性和可靠性。OMS支持大文件分片、大量数据的快速迁移。同时,它还支持断点续传功能,即使在迁移过程中遇到网络中断等异常情况,也能从断点处继续传输,确保数据的完整性和迁移的连续性。 图1 网络模型图 场景一:跨Region/跨云迁移
修订记录 发布时间 修订记录 2023-11-15 第二十三次正式发布。 API V2新增桶操作、云服务、区域 2023-09-20 第二十二次正式发布。 更新终端节点。 2023-04-14 第二十一次正式发布。 更新创建迁移任务组。 2022-09-16 第二十次正式发布。 新增迁移任务组管理。
如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? 该问题可分为以下两种情况来说明: 如何保证增量数据如何迁移过来? 参见增量迁移对象数据。 源端数据有更新,如何同步过来? 需要重新全量迁移,OMS会自动识别更新后对象进行覆盖,具体覆盖条件请参考迁移是否会影响目的端桶的已有数据。
对象列表文件大小不能超过1024 MB。 对象列表目录下的文件个数不能超过2000个。 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 在对象列表文件中,每一行只能包含一个对象名称
对象列表文件大小不能超过1024 MB。 对象列表目录下的文件个数不能超过2000个。 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 在对象列表文件中,每一行只能包含一个对象名称
单击邀请子用户,弹出“邀请子用户”窗口。 勾选访问方式,输入邮箱、用户名,单击确定。 勾选API访问,会自动生成AK/SK。 子用户通过邮箱登录,用户名是子用户在该主账号下的唯一标识。 添加权限。 单击子用户操作列的添加权限,弹出“添加权限”窗口,选择应用项目,勾选UFileReadOnlyA
对象列表文件大小不能超过1024MB。 对象列表文件中的首个对象必须存在,否则会预校验不通过。 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称,并且对象名称使用URL
对象列表文件大小不能超过1024 MB。 对象列表目录下的文件个数不能超过2000个。 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 在对象列表文件中,每一行只能包含一个对象名称
我如何能知道迁移任务的速度? 一般情况,对象存储服务的迁移速度的参考值是10-20TB每天。由于迁移速度受源端对象个数、大小以及公网传输距离影响,建议用户创建一个实际数据的迁移任务来测试实际迁移速度,实际最大迁移速度为单个任务平均速度的5倍(单个Region内并发任务数最大为5)。
OMS支持迁移指定修改时间后的对象,您可以在创建迁移任务/迁移任务组时,设置迁移指定时间后的对象,使用时间过滤源端待迁移对象。 选择“否”,不过滤源端待迁移对象。 选择“是”,设置迁移指定时间后,OMS服务仅迁移在指定时间之后修改的源端待迁移对象。 输入的指定时间不能大于迁移任务开始执行时间,否则会导致迁移对象数量为0。
默认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参考各云服务提供商的相关文档。 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是归档数据取回费用,这些均由源端云服务提供商向您收取。 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间
默认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参考各云服务提供商的相关文档。 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是归档数据取回费用,这些均由源端云服务提供商向您收取。 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间