检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
风险提示 OMS根据源端厂商对象存储服务和华为云对象存储服务接口及协议,进行认证和一致性校验,涉及MD5、SHA1、CRC64以及基于MD5的HMAC算法的使用,存在因源端发生hash碰撞,导致要迁移的数据和实际迁移的数据不一致的风险,为确保数据一致性,可以在迁移后再次对源端、目的端数据进行完整的内容校验。
迁移任务组 适用场景 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。 支持的源端云服务商和数据类型 迁移任务支持的源端云服务商和数据类型包括: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云
error("Failed to restart the task, error_code: " + e.getErrorCode() + ", error_msg: " + e.getErrorMsg()); } return "fail";
概述 对象存储迁移服务(OMS)的原理主要基于数据复制、同步和传输技术的综合运用,旨在帮助用户高效、安全地将其他云服务商对象存储服务中的数据在线迁移至华为云OBS。 父主题: 迁移工作原理
txt文件,查看失败对象列表。 说明: 失败对象列表路径说明:oms/task_group/任务组ID/ failed_object_lists/任务名称/时间戳.failed_list.txt 失败对象列表错误码详细说明参见查看失败对象列表。 查看总的迁移对象列表。 登录OBS
OMS是否支持批量桶迁移? 目前OMS单个任务(迁移任务/迁移任务组)仅支持迁移单桶数据,不支持批量桶迁移。 如果涉及到多桶数据迁移,推荐使用华为云迁移中心MgC,创建存储迁移工作流进行批量桶迁移。 父主题: 产品咨询
迁移任务与迁移任务组的适用场景是什么? 迁移任务 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。创建方式参见创建迁移任务。 迁移任务组 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移
迁移网络模型 对象存储迁移服务(OMS)的网络模型设计考虑了数据的传输效率、安全性和可靠性。OMS支持大文件分片、大量数据的快速迁移。同时,它还支持断点续传功能,即使在迁移过程中遇到网络中断等异常情况,也能从断点处继续传输,确保数据的完整性和迁移的连续性。 图1 网络模型图 场景一:跨Region/跨云迁移
"password": "********", "domain": { "name": "domainname" } }
请确保对象列表文件中每一行的长度都不超过65535。 TRF.0019 任务参数校验失败。 请确保对象列表文件的metaData中contentType为text/plain、且不能设置contentEncoding。 TRF.0051 您输入的AK/SK无足够权限访问目的端桶或者对象。 请确认AK/SK有足够权限后重试。
txt文件,查看失败对象列表。 说明: 失败对象列表路径说明:oms/task_group/任务组ID/ failed_object_lists/任务名称/时间戳.failed_list.txt 失败对象列表错误码详细说明参见查看失败对象列表。 父主题: 迁移任务组
什么是对象存储迁移服务 对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移服务,帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中。 目前支持
准备工作 使用对象存储迁移服务前,请参考本节介绍完成准备工作。 注册华为账号 使用华为云之前,需要注册华为账号并开通华为云,还需要完成实名认证。 创建华为云的访问密钥(AK/SK)并授权 目的端华为云:参见创建访问密钥(AK/SK)和目的端桶权限获取创建AK/SK并添加权限。 创建目的端桶
说明: 单个迁移任务或迁移任务组任务,都会将迁移失败的对象记录在一个以任务名称命名的失败对象列表文件中,并将该文件上传到目的端桶的“oms/failed_object_lists/”路径下。 失败对象列表文件,最多记录10万个失败对象。 失败对象超过10万个的场景,建议基于已有失败对象列表,分析处理后重新迁移。
同步任务 适用场景 同步任务用于源端变更对象主动同步的场景,通过在源端对象存储服务配置事件触发器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步接口,及时将数据同步到华为云OBS侧。 目前只支持华北-北京四、华东-上海一地区。 支持的源端云服务商 同步任务支持迁移的源端云服务提供商包括:
迁移并行文件系统对象时,一致性校验失败如何处理? 问题描述 迁移并行文件系统对象时,源端对象最后修改时间晚于目的端对象,导致一致性校验失败,重试迁移依然校验失败,并且目的端对象最后修改时间一直保持不变。 问题分析 出现该问题可能是因为并行系统存在元数据mtime(可以设置最后修改
创建同步任务 使用场景 同步任务用于源端变更对象主动同步的场景,通过在源端对象存储服务配置事件触发器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步接口,即时将数据同步到华为云OBS侧。 同步任务依托于源端事件触发器、函数工作流服务以及公网传输,可能存在
在创建任务中,参数authentication_type、authentication_key更新描述。 在创建任务中,参数enable_failed_object_recording更新描述。 在查询某个租户的所有任务中,参数authentication_type更新描述。 在历史错误码中,增加错误码S3M
表明服务端能被请求访问到,但是不能理解用户的请求。 501 Not Implemented 服务器不支持请求的功能,无法完成请求。 503 Service Unavailable 被请求的服务无效。 建议直接修改该请求,不要重试该请求。 父主题: 附录
存储类型介绍 各云厂商的对象存储服务针对用户业务对存储性能、成本的不同诉求,将对象的存储级别进行了区分,区分的普遍依据是对象的访问频度、访问时延、最低存储时间、最低存储单元、数据可靠性、数据可用性等。根据以上依据,华为云OBS提供了以下四种存储类型: 标准存储 访问时延低和吞吐量