检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OMS迁移大对象时,会通过分片传输保证可靠性,并在迁移完成后对比大小和修改时间。如果存在迁移中修改某个特定分片,且满足如下条件: 1. 修改后文件大小一致 ; 2. 源端对象最后修改时间早于目的端对象最后修改时间。 最终会导致数据不一致。 删除数据: 源端的删除操作OMS不会同步到目的端,需要对删除的对象单独处理。
OMS迁移,解冻时间长导致迁移时间较长,推荐您提前进行解冻操作,待解冻完成后再创建迁移任务。阿里云OSS提供了ossutil工具来解冻归档文件,支持解冻指定前缀的归档类型对象。具体操作请参见阿里云OSS归档数据迁移方案。 若您源端有解冻中的数据,待解冻完成后再进行迁移,否则这些数据会迁移失败。
ListFile object 列表文件配置,当task_type为list或url_list时,list_file为必选参数。 表11 ListFile 参数 参数类型 描述 list_file_key String 对象列表文件或URL列表文件对象名。 最小长度:1 最大长度:1024
代表待迁移的文件夹,非“/”结尾的字符串代表待迁移的文件。); 任务类型为前缀迁移任务时,表示待迁移前缀。 整桶迁移时,此参数设置为[""]。 最小长度:0 最大长度:1024 数组长度:0 - 500 list_file 否 ListFile object 列表文件配置,当ta
单击下一步。查看和创建页面,确认创建用户信息。 单击创建用户。创建完成后单击用户名,选择安全凭证,单击创建访问密钥。 查看访问密钥AK和秘密访问密钥SK。也可以下载.csv文件进行保存。 AWS S3在中国区时,只能迁移至中国大陆的Region。 AWS S3在国际站时,只能迁移至海外的Region。 目的端华为
详情请参见区域和可用区。 可用区(AZ,Availability Zone) 一个可用区是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认
ListFile object 列表文件配置,当task_type为list或url_list时,list_file为必选参数。 表6 ListFile 参数 参数类型 描述 list_file_key String 对象列表文件或URL列表文件对象名。 最小长度:1 最大长度:1024
OMS迁移,解冻时间长导致迁移时间较长,推荐您提前进行解冻操作,待解冻完成后再创建迁移任务。优刻得 US3提供了us3cli工具来解冻归档文件,支持批量解冻。具体操作请参见优刻得US3归档数据迁移方案。 若您源端有解冻中的数据,待解冻完成后再进行迁移,否则这些数据会迁移失败。 父主题:
迁移任务组 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。以组的方式进行管理,包括进度查询,暂停恢复,失败重启等。 迁移任务组相较于迁移任务,提供更快的迁移速度和可靠性,便于灵活识别异常对象并快速恢复。
2018-09-30 第四次正式发布。 优化文档架构。 迁移任务支持失败对象重传。 在迁移任务详情中,补充对忽略对象数的说明。 在迁移任务详情中,删除“已选文件夹”参数。 区分恢复迁移任务和重启迁移任务。 2018-08-09 第三次正式发布。 根据新版界面更新资料。 2017-11-30 第二次正式发布。
S3控制台 登录到AWS控制台。 在左侧导航窗格中,选择“存储桶”。 在桶列表中,选择想要还原对象所在桶的名称。 在对象列表中,选择要还原的一个或多个对象,选择“操作>启动还原”。 如果要从 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive
在目的桶的“oms/sync_task/同步任务ID/object_lists”路径下,OMS会自动将接收到的待同步对象名称汇总后保存在txt类型的对象列表文件中。 页面展示的统计数据并非实时数据,大约存在一个小时左右的延迟,仅供参考。 父主题: 同步任务
步骤一:创建程序包 本示例使用Java8语言实现定时检查并重启失败迁移任务的功能,有关函数开发的过程请参考Java函数开发。 图2 目录结构 pom.xml文件的依赖: <dependency> <groupId>Runtime</groupId> <artifactId>Runtime</artifactId>
ListFile object 列表文件配置,当task_type为list或url_list时,list_file为必选参数。 表8 ListFile 参数 参数类型 描述 list_file_key String 对象列表文件或URL列表文件对象名。 最小长度:1 最大长度:1024
移大对象,迁移同样大小的数据量,会有更多的列举对象和对比对象操作带来的时间消耗。 解决方式:通过创建迁移任务组,将源端待迁移对象智能拆分到多个迁移任务中并行迁移,提升迁移速度。 迁移数量较少的大对象 当迁移的对象数量较少(小于50个)且大小很大时,由于只会有一个线程迁移单个对象,
您可以根据业务要求,设置迁移任务在指定时段的最大流量带宽。 发布区域:全部 创建单个迁移任务 迁移任务组 迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。以组的方式进行管理,包括进度查询,暂停恢复,失败重启等。 发布区域:全部 创建迁移任务组
谷歌云 URLSource:URL HEC:HEC 最小长度:0 最大长度:100 file_path 是 String 目标桶中需要查询的对象文件路径,/结尾 最小长度:0 最大长度:1023 ak 否 String 源端桶的AK(最大长度100个字符) 最小长度:0 最大长度:100
参数配置说明 参数 配置说明 函数名称 用户自定义。 运行环境 选择Python3。 代码上传方式 选择通过zip包上传代码。将以下两个代码文件index.py和signer.py打包为至一个zip包并上传。 index.py # -*- coding: utf-8 -*- import
函数类型:选择“事件函数” 函数名称:默认填充,可根据需要自行修改。 运行环境:选择Python3.6。 函数代码提交方式选择“本地上传zip包”,将以下两个代码文件index.py和signer.py打包为至一个zip包并上传。 index.py # -*- coding: utf8 -*- from