检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本教程讲解了如何将优刻得对象存储(US3)上的数据迁移到华为云对象存储 OBS。 华为云对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移服务,可以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object
迁移任务组 适用场景 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。 支持的源端云服务商和数据类型 迁移任务支持的源端云服务商和数据类型包括: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云
删除“创建访问密钥(AK/SK)”和“创建桶”两节。 在创建单个迁移任务中,调整选择服务区域的步骤顺序。 在创建单个迁移任务中,“源端参数”增加“解冻归档数据”。 2019-04-17 第五次正式发布。 在对象存储迁移流程中,更新表述。 在创建单个迁移任务中,在创建任务前增加选择服务所处区域的步骤。
在创建任务中,参数region、topicUrn增加说明。 在创建任务中,源端cloud_type参数增加取值“HuaweiCloud”。 在创建任务中,dst_node数据结构的参数object_key修正为必选。 在创建任务中,参数authentication_type、authentication_key更新描述。
迁移网络模型 对象存储迁移服务(OMS)的网络模型设计考虑了数据的传输效率、安全性和可靠性。OMS支持大文件分片、大量数据的快速迁移。同时,它还支持断点续传功能,即使在迁移过程中遇到网络中断等异常情况,也能从断点处继续传输,确保数据的完整性和迁移的连续性。 图1 网络模型图 场景一:跨Region/跨云迁移
迁移任务与迁移任务组的适用场景是什么? 迁移任务 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。创建方式参见创建迁移任务。 迁移任务组 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁
API概览 对象存储迁移服务提供了版本查询接口和任务管理接口,如表1所示。 表1 对象存储迁移服务接口列表 类型 说明 查询API版本信息列表 查询对象存储迁移服务的API版本信息。 查询指定API版本信息 查询对象存储迁移服务指定API版本信息。 查询迁移任务列表 查询用户账户下的所有任务信息。
使用前必读 欢迎使用对象存储迁移服务(Object Storage Migration Service)。对象存储迁移服务是一种线上数据迁移服务,帮助用户把对象存储数据从其他云服务商的公有云轻松、平滑地迁移到华为云。 您可以使用本文档提供的API对对象存储迁移服务进行相关操作,如创建、删除
单击“下一步”,设置任务参数。具体选项参见表4。 表4 任务参数 参数 说明 元数据迁移方式 忽略元数据:OMS只迁移源端Content-Type、Content-Encoding元数据。 保留元数据:OMS会迁移支持范围内的元数据。支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外,其他所有字符均不支持。
败,重试迁移依然校验失败,并且目的端对象最后修改时间一直保持不变。 问题分析 出现该问题可能是因为并行系统存在元数据mtime(可以设置最后修改时间),如果存在元数据mtime则目的端最后修改时间被固定,因此导致校验失败,该问题并不影响对象的正常迁移,您可以忽略该问题。 父主题:
同步任务用于源端变更对象主动同步的场景,通过在源端对象存储服务配置事件触发器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步接口,及时将数据同步到华为云OBS侧。 目前只支持华北-北京四、华东-上海一地区。 支持的源端云服务商 同步任务支持迁移的源端云服务提供商包括:
在什么条件下使用基于评估创建迁移任务? 如果桶内数据容量超过3TB,数量超过500万个,推荐您创建迁移任务组进行迁移。系统会根据桶内对象的存量和数量分布,自动划分为多个迁移任务,提高迁移效率、减少迁移时间。 父主题: 产品咨询
查看审计日志 通过云审计服务,您可以记录与对象存储迁移服务相关的操作事件,如下列各表所示。 您可以查看这些操作,以评估对服务的影响,具体请参见查看追踪事件。 在云审计的事件查询条件中,“事件来源”选择“OMS”。 表1 云审计服务支持的对象存储迁移服务资源类型列表 资源名称 资源类型
与目的端对象元数据中不存在CRC64值,则系统会默认使用大小/最后修改时间校验方式来校验。no_check:目前仅支持HTTP/HTTPS数据源。当源端对象无法通过标准http协议中content-length字段获取数据大小时,默认数据下载成功即迁移成功,不对数据做额外校验,且
如何从一个区域迁移OBS桶数据到另一区域? 如何迁移一个账号下的OBS数据到另一个账号下? 源端有多个桶,如何迁移到华为云一个OBS桶里? 如何迁移根目录下的数据? 迁移对源端数据是否有影响?源端数据改变对迁移结果有什么影响? 迁移完成后,如何修改已迁移对象路径? 如果一直有数据写入OBS的情
更新使用“回源配置方案”迁移增量对象数据章节。 更新使用“源端/目的端双写方案”方案迁移增量对象数据章节。 更新使用"多次同步方案"迁移增量对象数据章节。 更新迁移归档存储数据章节。 2020-12-08 第二次正式发布。 新增使用“回源配置方案”迁移增量对象数据。 新增使用“源端/目的端双写方案”方案迁移增量对象数据。
创建迁移任务或迁移任务组时,选择源端数据源为“HTTP/HTTPS数据源”,如图1所示。 图1 选择HTTP/HTTPS数据源 选择创建“迁移任务”还是“迁移任务组”,可参见迁移任务与迁移任务组的适用场景是什么?。 源端数据源选择“HTTP/HTTPS数据源”,迁移方式默认为“指定URL列表”。
对象存储迁移服务的鉴权支持AK/SK方式,启动数据传输时会充分认证身份的合法性,避免数据被盗用。 创建迁移任务时您需要输入AK/SK进行安全认证,校验成功后,系统才可以访问源端和目的端的迁移数据,从而成功创建迁移任务。 迁移任务创建成功后,AK/SK会被加密存放在数据库中。加密AK/SK采用的是业
何处理? 2020-11-28 第七次正式发布。 新增如何迁移一个账号下的OBS数据到另一个账号下? 新增迁移失败后提示“无法读取归档类型数据,请解冻数据后进行迁移”该如何处理? 新增OMS将对象数据迁移到并行文件系统有哪些限制? 2020-08-20 第六次正式发布。 新增迁移任务组执行失败怎么处理?
解冻源端归档数据 当源端对象存储有数据处于归档状态,直接使用OMS迁移,解冻时间长导致迁移时间较长,推荐您提前进行解冻操作,待解冻完成后再创建迁移任务。具体操作参见恢复归档存储对象。 若您源端有解冻中的数据,待解冻完成后再进行迁移,否则这些数据会迁移失败。 父主题: 华为云OBS之间迁移教程