检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移限制 OMS将对象数据迁移到并行文件系统有哪些限制? 迁移并行文件系统内的对象数据有哪些限制? 创建迁移任务时提示“您选择的目的端桶所在区域与控制台Region不一致,请选择所在区域为xxx的桶或切换控制台Region为xxx”该如何处理? 源端云服务商不在OMS支持范围,该如何迁移?
其他迁移场景 概述 迁移中心MgC
修订记录 发布日期 修订记录 2024-01-26 第二十二次正式发布。 源端云厂商新增谷歌云。 2023-12-08 第二十一次正式发布。 目的端配置选项区域中新增“配置存储策略”功能。 2023-07-10 第二十次正式发布。 更新查看审计日志。 2023-01-18 第十九次正式发布。
修订记录 发布日期 修订记录 2024-03-22 第二十三次正式发布。 新增迁移工作原理 新增迁移网络模型 2023-10-17 第二十二次正式发布。 更新计费说明中的API请求次数。 2023-06-20 第二十一次正式发布。 约束与限制新增“迁移范围”、“迁移速度”、“归档数据”限制说明。
约束与限制 OMS迁移任务限制如表1所示。 表1 OMS迁移任务限制 类别 限制 多版本对象迁移 OMS默认只迁移源端多版本对象中的最新版本,不支持迁移历史版本的对象存储数据。 目的端桶存储类别 目的端桶的存储类别只能为标准存储或者低频访问存储。迁移完成后,可以自行修改桶的存储类别。
风险提示 OMS根据源端厂商对象存储服务和华为云对象存储服务接口及协议,进行认证和一致性校验,涉及MD5、SHA1、CRC64以及基于MD5的HMAC算法的使用,存在因源端发生hash碰撞,导致要迁移的数据和实际迁移的数据不一致的风险,为确保数据一致性,可以在迁移后再次对源端、目的端数据进行完整的内容校验。
创建迁移任务组 本节介绍创建迁移任务组的操作步骤。 OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。
创建迁移任务组 本节介绍创建迁移任务组的操作步骤。 OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。
如何调用API 构造请求 认证鉴权 返回结果
创建单个迁移任务 操作场景 使用对象存储迁移服务创建对象存储任务,对您的对象数据实施迁移。 本节以选择文件/文件夹迁移方式为例进行介绍。 OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。
归档数据迁移方案 本节介绍各云服务商存在归档数据时,如何解冻并迁移到华为云OBS。 华为云OBS 阿里云OSS 腾讯云COS 百度云BOS 七牛云Kodo 金山云KS3 优刻得US3 亚马逊云S3 微软云Blob
迁移任务组 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。以组的方式进行管理,包括进度查询,暂停恢复,失败重启等。 迁移任务组相较于迁移任务,提供更快的迁移速度和可靠性,便于灵活识别异常对象并快速恢复。
概述 对象存储迁移服务(OMS)的原理主要基于数据复制、同步和传输技术的综合运用,旨在帮助用户高效、安全地将其他云服务商对象存储服务中的数据在线迁移至华为云OBS。 父主题: 迁移工作原理
如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? 该问题可分为以下两种情况来说明: 如何保证增量数据如何迁移过来? 参见增量迁移对象数据。 源端数据有更新,如何同步过来? 需要重新全量迁移,OMS会自动识别更新后对象进行覆盖,具体覆盖条件请参考迁移是否会影响目的端桶的已有数据。
API v2(推荐) 查询API版本信息 迁移任务管理 同步任务 迁移任务组管理 桶操作 云服务 区域
迁移前准备工作 使用对象存储迁移服务前,请参考本节介绍完成准备工作。 注册华为账号 使用华为云之前,需要注册华为账号并开通华为云,还需要完成实名认证。 创建源端和目的端的访问密钥(AK/SK)并授权 源端: 如果源端为华为云OBS桶,检查对应账号是否有AK/SK以及列举桶,获取桶
个人数据保护机制 为了确保您的个人数据(源端AK、源端SK、源端CDN密钥、目的端AK、目的端SK)不被未经过认证、授权的实体或者个人获取,对象存储迁移服务系统通过加密存储个人数据、控制个人数据访问权限以及记录操作日志等方法防止个人数据泄露,保证您的个人数据安全。 收集范围 对象存储迁移服务收集的个人数据如表1所示:
数据迁移 根据迁移配置,华为云OMS服务会开始从源端存储系统拉取数据。同时,服务会确保数据的完整性和一致性,避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能,当迁移过程中出现网络中断或其他异常情况时,服务可以从断点处恢复传输,确保数据的完整性和迁移的连续性。 父主题:
删除任务 功能介绍 调用该接口删除迁移任务。 正在运行的任务不允许删除,如果删除会返回失败。 URI DELETE /v1/{project_id}/objectstorage/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id
启动任务 功能介绍 任务暂停或失败后,调用该接口以启动任务。 URI PUT /v1/{project_id}/objectstorage/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 task_id