检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用前必读 欢迎使用对象存储迁移服务(Object Storage Migration Service)。对象存储迁移服务是一种线上数据迁移服务,帮助用户把对象存储数据从其他云服务商的公有云轻松、平滑地迁移到华为云。 您可以使用本文档提供的API对对象存储迁移服务进行相关操作,如创建、删除
败,重试迁移依然校验失败,并且目的端对象最后修改时间一直保持不变。 问题分析 出现该问题可能是因为并行系统存在元数据mtime(可以设置最后修改时间),如果存在元数据mtime则目的端最后修改时间被固定,因此导致校验失败,该问题并不影响对象的正常迁移,您可以忽略该问题。 父主题:
单击“下一步”,设置任务参数。具体选项参见表4。 表4 任务参数 参数 说明 元数据迁移方式 忽略元数据:OMS只迁移源端Content-Type、Content-Encoding元数据。 保留元数据:OMS会迁移支持范围内的元数据。支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外,其他所有字符均不支持。
请参考如下步骤生成密钥文件,并为用户添加相应的谷歌云权限,权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。 使用谷歌账户登录Google Cloud控制台。 在控制台中,选择您想要为其创建访问密钥的特定项目。然后,导航到IAM和管理部分,并单击“服务账号”模块。
同步任务用于源端变更对象主动同步的场景,通过在源端对象存储服务配置事件触发器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步接口,及时将数据同步到华为云OBS侧。 目前只支持华北-北京四、华东-上海一地区。 支持的源端云服务商 同步任务支持迁移的源端云服务提供商包括:
、最低存储时间、最低存储单元、数据可靠性、数据可用性等。根据以上依据,华为云OBS提供了以下四种存储类型: 标准存储 访问时延低和吞吐量高,因而适用于有大量热点文件(平均一个月多次)或小文件(小于1MB),且需要频繁访问数据的业务场景,例如:大数据、移动应用、热点视频、社交图片等场景。
在什么条件下使用基于评估创建迁移任务? 如果桶内数据容量超过3TB,数量超过500万个,推荐您创建迁移任务组进行迁移。系统会根据桶内对象的存量和数量分布,自动划分为多个迁移任务,提高迁移效率、减少迁移时间。 父主题: 产品咨询
对象存储迁移服务的鉴权支持AK/SK方式,启动数据传输时会充分认证身份的合法性,避免数据被盗用。 创建迁移任务时您需要输入AK/SK进行安全认证,校验成功后,系统才可以访问源端和目的端的迁移数据,从而成功创建迁移任务。 迁移任务创建成功后,AK/SK会被加密存放在数据库中。加密AK/SK采用的是业
与目的端对象元数据中不存在CRC64值,则系统会默认使用大小/最后修改时间校验方式来校验。no_check:目前仅支持HTTP/HTTPS数据源。当源端对象无法通过标准http协议中content-length字段获取数据大小时,默认数据下载成功即迁移成功,不对数据做额外校验。当
云服务商的对象存储服务可以针对源端新增、修改对象实时调用OMS同步接口(例如,通过消息通知或函数计算服务方式),以完成对源端新增、修改对象数据的同步迁移。 配置条件 实时获取源端新增、修改对象名称。 调用OMS同步接口,将源端变化对象传递给对象存储迁移服务 OMS,从而完成源端同步迁移。
与目的端对象元数据中不存在CRC64值,则系统会默认使用大小/最后修改时间校验方式来校验。no_check:目前仅支持HTTP/HTTPS数据源。当源端对象无法通过标准http协议中content-length字段获取数据大小时,默认数据下载成功即迁移成功,不对数据做额外校验,且
数。 表4 高级选项参数说明 参数 说明 元数据迁移方式 选择是否迁移元数据。 选择“忽略元数据”,OMS只迁移源端Content-Type、Content-Encoding元数据。 选择“保留元数据”,OMS会迁移支持范围内的元数据。 须知: 仅支持中文字符、英文字符、数字和中
创建目的端桶 创建用于存放迁移数据的桶,具体操作参见创建桶。 解冻源端归档数据 当源端对象存储有数据处于归档状态,直接使用OMS迁移,解冻时间长导致迁移时间较长,推荐您提前进行解冻操作,待解冻完成后再创建迁移任务。AWS S3归档数据解冻具体操作请参见亚马逊归档数据迁移方案相关文档。 若
无法读取归档类型数据。 请解冻数据后进行迁移。 200 TRF.0201 Failed to restore archived data. Restore archived data on the source server and restart the task. 解冻归档数据失败。 请前往源端手动解冻归档数据后再迁移。
与目的端对象元数据中不存在CRC64值,则系统会默认使用大小/最后修改时间校验方式来校验。no_check:目前仅支持HTTP/HTTPS数据源。当源端对象无法通过标准http协议中content-length字段获取数据大小时,默认数据下载成功即迁移成功,不对数据做额外校验,且
云服务商的对象存储服务可以针对源端新增、修改对象实时调用OMS同步接口(例如,通过消息通知或函数计算服务方式),以完成对源端新增、修改对象数据的同步迁移。 配置条件 实时获取源端新增、修改对象名称。 调用OMS同步接口,将源端变化对象传递给对象存储迁移服务 OMS,从而完成源端同步迁移。
数。 表4 高级选项参数说明 参数 说明 元数据迁移方式 选择是否迁移元数据。 选择“忽略元数据”,OMS只迁移源端Content-Type、Content-Encoding元数据。 选择“保留元数据”,OMS会迁移支持范围内的元数据。 须知: 仅支持中文字符、英文字符、数字和中
解冻源端归档数据 当源端对象存储有数据处于归档状态,直接使用OMS迁移,解冻时间长导致迁移时间较长,推荐您提前进行解冻操作,待解冻完成后再创建迁移任务。具体操作参见恢复归档存储对象。 若您源端有解冻中的数据,待解冻完成后再进行迁移,否则这些数据会迁移失败。 父主题: 华为云OBS之间迁移教程
的端对象元数据中不存在CRC64值,则系统会默认使用大小/最后修改时间校验方式来校验。transmission:目前仅支持HTTP/HTTPS数据源。当源端对象无法通过标准http协议中content-length字段获取数据大小时,默认数据下载成功即迁移成功,不对数据做额外校验
我如何能知道迁移任务的速度? 一般情况,对象存储服务的迁移速度的参考值是10-20TB每天。由于迁移速度受源端对象个数、大小以及公网传输距离影响,建议用户创建一个实际数据的迁移任务来测试实际迁移速度,实际最大迁移速度为单个任务平均速度的5倍(单个Region内并发任务数最大为5)。 单个迁移任务速度可以在“迁移任务”界面中查看实时任务迁移速度。