检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是对象存储迁移服务 对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移服务,帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中。 目前支持
如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? 该问题可分为以下两种情况来说明: 如何保证增量数据如何迁移过来? 参见增量迁移对象数据。 源端数据有更新,如何同步过来? 需要重新全量迁移,OMS会自动识别更新后对象进行覆盖,具体覆盖条件请参考迁移是否会影响目的端桶的已有数据。
归档数据迁移方案 本节介绍各云服务商存在归档数据时,如何解冻并迁移到华为云OBS。 华为云OBS 阿里云OSS 腾讯云COS 百度云BOS 七牛云Kodo 金山云KS3 优刻得US3 亚马逊云S3 微软云Blob
数据保护技术 OMS通过以下方式,保障数据迁移的安全性和完整性。 完整性校验:数据迁移完成后,默认通过对象大小/最后修改时间完成数据的完整性校验。详细介绍请参见一致性校验策略。 个人数据加密保护:为了确保您个人数据的安全性,OMS系统通过加密存储个人数据、控制个人数据访问权限以及
并发执行同步中的任务数量最多为5个。 对象列表文件 对象列表文件大小不能超过1024MB。 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称,并且对象名称使用URL
认证,校验成功后,系统才可以访问源端和目的端的迁移数据,从而成功创建迁移任务。 迁移任务创建成功后,AK/SK会被加密存放在数据库中。加密AK/SK采用的是业界通用的高级加密标准AES(Advanced Encryption Standard)。 当迁移任务失败、成功或者暂停时,会删除AK/SK。
用户在界面输入,用于鉴权认证 否 是 目的端SK(Secret Key) 用户在界面输入,用于鉴权认证 否 是 存储方式 对象存储迁移服务通过加密算法对以下用户个人敏感数据进行加密存储: 源端AK/SK 源端CDN密钥 目的端AK/SK 访问权限控制 用户个人数据通过加密后存储在对象存储迁移服务数据库中,数据库的访问需要通过白名单的认证与授权。
业务割接方案最佳实践 使用“回源配置方案”迁移增量对象数据 使用“源端/目的端双写方案”方案迁移增量对象数据 使用"多次同步方案"迁移增量对象数据
最佳实践汇总 本文汇总了基于对象存储迁移服务(Object Storage Migration Service,OMS)常见应用场景的操作实践,每个实践我们提供详细的方案描述和操作指导,用于指导您快速实现对象存储数据迁移。 表1 OMS最佳实践一览表 最佳实践 使用场景 优势 使用“回源配置方案”迁移增量对象数据
源端云服务商不在OMS支持范围,该如何迁移? 若需要迁移的是NAS文件系统,请选用迁移方式一。 若源端对象可以通过HTTP或HTTPS公开访问,且用户能够自行列举出所有待迁移对象名称和对应的下载链接,可选用迁移方式一或迁移方式二。 迁移方式一 请前往迁移中心MgC,并使用其提供的存储迁移工作流进行迁移。迁移中心
数据识别与准备 在迁移开始前,华为云OMS服务会先对源端存储系统中的数据进行识别,包括对象大小、最后修改时间以及位置等关键信息。基于这些信息,服务会为用户生成一个对应的迁移任务配置,确保迁移过程的高效性和准确性。 父主题: 迁移工作原理
功能总览 功能总览 全部 API SDK 权限管理 同步任务 割接方案 归档数据迁移 错误码 设置迁移限速 迁移任务组 API OMS提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,实现创建、查询、暂停、删除任务等操作。
默认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参考各云服务提供商的相关文档。 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是归档数据取回费用,这些均由源端云服务提供商向您收取。 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间
数据迁移 根据迁移配置,华为云OMS服务会开始从源端存储系统拉取数据。同时,服务会确保数据的完整性和一致性,避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能,当迁移过程中出现网络中断或其他异常情况时,服务可以从断点处恢复传输,确保数据的完整性和迁移的连续性。 父主题:
URL列表中的URL超长 修改URL(长度不能超过65536)后重试。 URL_LIST_INTERNAL_IP URL列表中的主机非法,是内部IP 修改为合法IP后重试,如有疑问请联系技术支持。 URL_LIST_INCORRECT_DOMAIN URL列表中的域名错误,无法解析或不存在
对象列表文件大小不能超过1024 MB。 对象列表目录下的文件个数不能超过2000个。 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 在对象列表文件中,每一行只能包含一个对象名称
迁移前准备工作 使用对象存储迁移服务前,请参考本节介绍完成准备工作。 注册华为账号 使用华为云之前,需要注册华为账号并开通华为云,还需要完成实名认证。 创建源端和目的端的访问密钥(AK/SK)并授权 源端: 如果源端为华为云OBS桶,检查对应账号是否有AK/SK以及列举桶,获取桶
查看迁移任务 创建迁移任务后,您可以随时通过任务详情查看迁移进度以及进行一些后续操作。 查看迁移任务详情 登录管理控制台,进入“对象存储迁移服务”页面。 在左侧导航树,选择“迁移任务”,进入到“迁移任务”页面。在迁移任务列表上方的搜索框,设置条件过滤迁移任务。 迁移任务组ID:如
txt文件。 图5 失败对象列表路径 问题原因: 出现该问题,可能是用户在源端启用了CDN的性能优化功能,如Gzip压缩功能。OMS从源端获取对象元数据的content-length作为该对象预期迁移的大小,实际上传时读到的是压缩后的对象大小,实际大小<预期大小,okHttp3传输数据时判定为流异常中断,导致迁移失败。
/v1/{domain_id}/objectstorage/quotas 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 domain_id 是 租户ID。 请求消息 请求参数 无。 响应消息 响应参数 响应参数如表2所示。 表2 响应参数 参数 参数类型 描述 type String