检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Storage Service,简称OSS)上的数据迁移到华为云对象存储 OBS。 华为云对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移服务,可以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object
概述 对象存储迁移服务(OMS)的原理主要基于数据复制、同步和传输技术的综合运用,旨在帮助用户高效、安全地将其他云服务商对象存储服务中的数据在线迁移至华为云OBS。 父主题: 迁移工作原理
Storage Service,简称S3)上的数据迁移到华为云对象存储 OBS。 华为云对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移服务,可以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object
创建华为云的访问密钥(AK/SK)并授权 目的端华为云:参见创建访问密钥(AK/SK)和目的端桶权限获取创建AK/SK并添加权限。 创建目的端桶 创建用于存放迁移数据的桶,具体操作参见创建桶。 创建URL列表文件并上传至OBS桶 创建迁移任务:将待迁移的文件URL和目的端对象名称写入URL列表文件,并将
高级选项 表3 高级选项参数说明 参数 说明 元数据迁移方式 选择是否迁移元数据。 选择“忽略元数据”,OMS只迁移源端Content-Type、Content-Encoding元数据。 选择“保留元数据”,OMS会迁移支持范围内的元数据。 须知: 仅支持中文字符、英文字符、数字和中
迁移任务与迁移任务组的适用场景是什么? 迁移任务 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。创建方式参见创建迁移任务。 迁移任务组 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁
迁移网络模型 对象存储迁移服务(OMS)的网络模型设计考虑了数据的传输效率、安全性和可靠性。OMS支持大文件分片、大量数据的快速迁移。同时,它还支持断点续传功能,即使在迁移过程中遇到网络中断等异常情况,也能从断点处继续传输,确保数据的完整性和迁移的连续性。 图1 网络模型图 场景一:跨Region/跨云迁移
高级选项 表4 高级选项参数说明 参数 说明 元数据迁移方式 选择是否迁移元数据。 选择“忽略元数据”,OMS只迁移源端Content-Type、Content-Encoding元数据。 选择“保留元数据”,OMS会迁移支持范围内的元数据。 须知: 仅支持中文字符、英文字符、数字和中
数。 表4 高级选项参数说明 参数 说明 元数据迁移方式 选择是否迁移元数据。 选择“忽略元数据”,OMS只迁移源端Content-Type、Content-Encoding元数据。 选择“保留元数据”,OMS会迁移支持范围内的元数据。 须知: 仅支持中文字符、英文字符、数字和中
高级选项 表2 高级选项参数说明 参数 说明 元数据迁移方式 选择是否迁移元数据。 选择“忽略元数据”,OMS只迁移源端Content-Type、Content-Encoding元数据。 选择“保留元数据”,OMS会迁移支持范围内的元数据。 须知: 仅支持中文字符、英文字符、数字和中
Token认证 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
对象存储迁移服务的典型应用场景有: 对象数据搬迁:将典型Web应用搬迁到华为云上时,把用户的对象存储数据搬迁到华为云中。 云上容灾:出于灾备,把用户对象存储数据复制到华为云中。 对象数据恢复:利用其他云服务提供商备份的数据,恢复用户在华为云丢失的对象存储数据。
使用前必读 欢迎使用对象存储迁移服务(Object Storage Migration Service)。对象存储迁移服务是一种线上数据迁移服务,帮助用户把对象存储数据从其他云服务商的公有云轻松、平滑地迁移到华为云。 您可以使用本文档提供的API对对象存储迁移服务进行相关操作,如创建、删除
败,重试迁移依然校验失败,并且目的端对象最后修改时间一直保持不变。 问题分析 出现该问题可能是因为并行系统存在元数据mtime(可以设置最后修改时间),如果存在元数据mtime则目的端最后修改时间被固定,因此导致校验失败,该问题并不影响对象的正常迁移,您可以忽略该问题。 父主题:
单击“下一步”,设置任务参数。具体选项参见表4。 表4 任务参数 参数 说明 元数据迁移方式 忽略元数据:OMS只迁移源端Content-Type、Content-Encoding元数据。 保留元数据:OMS会迁移支持范围内的元数据。支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外,其他所有字符均不支持。
同步任务用于源端变更对象主动同步的场景,通过在源端对象存储服务配置事件触发器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步接口,及时将数据同步到华为云OBS侧。 目前只支持华北-北京四、华东-上海一地区。 支持的源端云服务商 同步任务支持迁移的源端云服务提供商包括:
、最低存储时间、最低存储单元、数据可靠性、数据可用性等。根据以上依据,华为云OBS提供了以下四种存储类型: 标准存储 访问时延低和吞吐量高,因而适用于有大量热点文件(平均一个月多次)或小文件(小于1MB),且需要频繁访问数据的业务场景,例如:大数据、移动应用、热点视频、社交图片等场景。
在什么条件下使用基于评估创建迁移任务? 如果桶内数据容量超过3TB,数量超过500万个,推荐您创建迁移任务组进行迁移。系统会根据桶内对象的存量和数量分布,自动划分为多个迁移任务,提高迁移效率、减少迁移时间。 父主题: 产品咨询
/SK)并授权 源端谷歌云: 请参考如下步骤生成密钥文件,并为用户添加相应的谷歌云权限,权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。 使用谷歌账户登录Google Cloud控制台。 在控制台中,选择您想要为其创建访问密钥的特定项目。然后,导航到IAM和管理部分,并单击“服务账号”模块。
迁移前判断对象是否存在+对比数据需要一次请求:head 迁移数据需要一次请求:get 迁移完成后校验数据需要一次请求:head 对目的端的操作 迁移前对比数据需要一次请求(判断对象是否存在):head 迁移数据需要一次请求:put 迁移完成后设置数据存储类型需要一次请求:put