检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
归档数据迁移方案 本节介绍各云服务商存在归档数据时,如何解冻并迁移到华为云OBS。 华为云OBS 阿里云OSS 腾讯云COS 百度云BOS 七牛云Kodo 金山云KS3 优刻得US3 亚马逊云S3 微软云Blob
迁移任务组 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。以组的方式进行管理,包括进度查询,暂停恢复,失败重启等。 迁移任务组相较于迁移任务,提供更快的迁移速度和可靠性,便于灵活识别异常对象并快速恢复。
概述 对象存储迁移服务(OMS)的原理主要基于数据复制、同步和传输技术的综合运用,旨在帮助用户高效、安全地将其他云服务商对象存储服务中的数据在线迁移至华为云OBS。 父主题: 迁移工作原理
修订记录 发布时间 修订记录 2023-11-15 第二十三次正式发布。 API V2新增桶操作、云服务、区域 2023-09-20 第二十二次正式发布。 更新终端节点。 2023-04-14 第二十一次正式发布。 更新创建迁移任务组。 2022-09-16 第二十次正式发布。 新增迁移任务组管理。
修订记录 发布日期 修订记录 2024-05-07 第十五次正式发布。 新增阿里云OSS配置同步请求 新增腾讯云COS配置同步请求 2024-03-22 第十四次正式发布。 新增自动检查并重启失败的迁移任务 新增青云QingStor迁移至华为云OBS教程 新增谷歌云storage迁移至华为云OBS教程
迁移网络模型 对象存储迁移服务(OMS)的网络模型设计考虑了数据的传输效率、安全性和可靠性。OMS支持大文件分片、大量数据的快速迁移。同时,它还支持断点续传功能,即使在迁移过程中遇到网络中断等异常情况,也能从断点处继续传输,确保数据的完整性和迁移的连续性。 图1 网络模型图 场景一:跨Region/跨云迁移
/v1/{domain_id}/objectstorage/quotas 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 domain_id 是 租户ID。 请求消息 请求参数 无。 响应消息 响应参数 响应参数如表2所示。 表2 响应参数 参数 参数类型 描述 type String 租户
选择“指定对象列表”迁移方式。 在“列表目录所在桶(华为云)”下拉列表中,选择存放列表文件的桶。 请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表目录。 在“选择对象列表目录”参数后面,单击“选择”按钮,弹出“选择对象列表目录”窗口,选择包含所有对象列表的文件夹,单击“确定”,如图7所示。
高频常见问题 产品咨询 迁移对源端数据是否有影响?源端数据改变对迁移结果有什么影响? 迁移完成后,如何修改已迁移对象路径? 如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? OMS保证迁移数据一致性的校验策略是什么? 迁移是否会影响目的端桶的已有数据 迁移限制
创建迁移任务后,您可以对迁移任务执行启动/停止、重启、删除等操作。 操作步骤 登录管理控制台,进入“对象存储迁移服务”页面。 对目标迁移任务进行操作。 表1 管理迁移任务 项目 场景 操作 暂停迁移任务 因故暂停正在迁移的任务,比如:当迁移任务并发数超过系统的限制时,暂停部分次要迁移任务,优先执行重要的迁移任务。
指定对象列表 指定对象列表方式,一般用于增量迁移场景,用户需要将待迁移的源端对象名称逐一写入一个对象列表文件。再将这个对象列表文件放在华为云obs桶中,对象存储迁移服务会读取这个对象列表文件,并迁移文件中列出的所有对象。 说明: 对象列表文件大小不能超过1024MB。 对象列表文件中
对象存储迁移流程 您可直接登录管理控制台进行对象存储迁移操作,迁移流程如图1所示。 图1 对象存储迁移流程 具体说明: 创建源端和目的端的访问密钥(AK/SK)。 源端:参见源端云服务提供商的相关资料。 目的端:参见创建访问密钥(AK/SK)。 在对象存储服务中创建用于存放迁移数据的桶。
选择“指定URL列表目录”迁移方式。 在“列表目录所在桶(华为云)”下拉列表中,选择存放URL列表文件的OBS桶。 请确保URL列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。 在“选择URL列表目录”参数后面,单击“选择”按钮,弹出“选择URL列表目录”窗口,选
/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 task_id 是 任务ID。 请求消息 请求参数 无。 响应消息 响应参数 响应参数如表2所示。 表2 响应参数 参数 类型 描述 id long 任务ID。
} 从控制台获取项目ID 从控制台获取项目ID的步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 父主题: 附录
URL列表文件格式错误。 请参照用户指南检查URL列表文件格式,或者联系技术支持。 200 TRF.0017 No URL found in the specified list file. Check the list file. 指定的列表文件为空。 请检查列表文件。 200
storage/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 task_id 是 任务ID。 请求消息 请求参数 请求参数如表2所示。 表2 请求参数 参数 是否必选 参数类型 描述 operation
迁移时长 我如何能知道迁移任务的速度? 为什么显示已传输量在增加,但是迁移进度没有增加? 为什么有时候迁移速度会很慢? 跨区域迁移时,迁移速率慢且失败对象较多,如何处理?
迁移任务 适用场景 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。 支持的源端云服务商和数据类型 迁移任务支持的源端云服务商和数据类型包括: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云
OMS对于不同的迁移方式计算迁移进度的方式不同: 文件/文件夹/对象前缀迁移:按照已传输容量计算迁移进度。 对象/URL列表迁移:按照已传输对象数量计算进度。 如果选择的是通过对象/URL列表方式迁移,可能会出现已传输量在增加,但是迁移进度没有增加的情况。 父主题: 迁移时长