检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新增数据: 迁移默认按照所选前缀的字典序列举迁移,迁移过程中新增数据是否能顺利迁移到目的端取决于其新增时,迁移任务是否已完成相关位置的列举,如果已列举完成则不会迁移。 修改数据: OMS迁移大对象时,会通过分片传输保证可靠性,并在迁移完成后对比大小和修改时间。如果存在迁移中修改某个特定分片,且满足如下条件:
OMS同步任务可以指定时间段吗? OMS同步任务不支持指定时间段。 OMS同步任务是通过函数工作流触发同步任务,当源端对象新增/修改时,OMS会做及时同步,因此没有设计指定时间段同步。 父主题: 产品咨询
OMS如何迁移指定时间的文件? OMS支持迁移指定修改时间后的对象,您可以在创建迁移任务/迁移任务组时,设置迁移指定时间后的对象,使用时间过滤源端待迁移对象。 选择“否”,不过滤源端待迁移对象。 选择“是”,设置迁移指定时间后,OMS服务仅迁移在指定时间之后修改的源端待迁移对象。
迁移并行文件系统对象时,源端对象最后修改时间晚于目的端对象,导致一致性校验失败,重试迁移依然校验失败,并且目的端对象最后修改时间一直保持不变。 问题分析 出现该问题可能是因为并行系统存在元数据mtime(可以设置最后修改时间),如果存在元数据mtime则目的端最后修改时间被固定,因此导致校验失败
久且成本极低,可以用来替代磁带库。为了保持成本低廉,数据取回时间可能长达数分钟到数小时不等。 深度归档存储(受限公测中) 适用于长期不访问(平均几年访问一次)数据的业务场景,其成本相比归档存储更低,但相应的数据取回时间将更长,一般为数小时。 关于华为云OBS存储类型更多介绍请参见OBS存储类别。
相应的txt文件,查看成功对象列表。 说明: 成功对象列表路径说明:oms/task/任务名称/success_object_lists/时间戳.success_list.txt。 忽略对象数大于0 在任务详情中找到“忽略对象列表路径”,单击路径链接跳转到OBS控制台,下载相应的txt文件,查看忽略对象列表。
向您收取。 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。 默认取回时间为3天,当迁移对象数超过300 w或容量大小超过3 TB时,为避免迁移时间过长,数据再次归档后导致迁移失败,请选择迁移任务组方式迁移。
向您收取。 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。 默认取回时间为3天,当迁移对象数超过300 w或容量大小超过3 TB时,为避免迁移时间过长,数据再次归档后导致迁移失败,请选择迁移任务组方式迁移。
向您收取。 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。 默认取回时间为3天,当迁移对象数超过300 w或容量大小超过3 TB时,为避免迁移时间过长,数据再次归档后导致迁移失败,请选择迁移任务组方式迁移。
向您收取。 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。 默认取回时间为3天,当迁移对象数超过300 w或容量大小超过3 TB时,为避免迁移时间过长,数据再次归档后导致迁移失败,请选择迁移任务组方式迁移。
按条件过滤源端对象:支持迁移指定时间后的源端对象。 多任务创建 对于大容量、大规模的对象迁移,对象存储迁移服务提供了创建迁移任务组功能,能够自动划分并创建迁移任务,最大化利用服务的并发性能。 支持以组的方式对迁移任务进行管理。 高效传输 并行迁移 支持多对象并行迁移。 解冻归档数据
向您收取。 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。 默认取回时间为3天,当迁移对象数超过300 w或容量大小超过3 TB时,为避免迁移时间过长,数据再次归档后导致迁移失败,请选择迁移任务组方式迁移。
在弹出的窗口中,配置恢复模式和副本有效天数。 快速取回:需要的时间最短,通常只需要1 - 5分钟即可恢复归档存储类型的文件。快速取回模式不支持恢复深度归档存储类型的文件。 标准取回:使用标准取回模式,对于归档存储类型的文件一般可以在3 - 5小时内完成恢复,对于深度归档类型的文件一般可以在12小时内完成恢复。
所属应用:默认“default”。 描述:输入描述内容。 步骤三:设置环境变量 进入check_retry_task函数详情页,在设置页签,选择环境变量。 单击“添加环境变量”,根据表1,配置环境变量,完成后单击“保存”。 表1 环境变量参数说明 环境变量 说明 region_id 目的端桶所在区域,例如
编写函数的语言,默认Python 3.6,无法更改。 创建触发器 勾选“对象存储服务(OBS)”. 设置“环境变量”区域参数,参数说明参见表2。 图3 设置环境变量参数 表2 环境变量参数说明 参数名称 说明 sync_url 同步请求接收地址,从同步任务详情中获取。 sync_task_id
”。 单击“流量控制”旁边的按钮。 如需新增流量控制,单击“新增流量控制”,设置“开始时间”、“结束时间”和“限制最大流量”。 如需修改流量控制,根据您的实际要求,修改“开始时间”、“结束时间”和“限制最大流量”。 如需删除流量控制,单击对应记录操作列的按钮。 限制最大流量的数值范围:1~
_FAILURE 问题原因: OMS从源端获取的对象元数据与直接使用CDN获取的HTTP头信息不匹配(大小不相等或源端最后修改时间晚于CDN最后修改时间)。 解决方法: 确认使用CDN域名能够正常下载对象(OMS使用CDN获取的URL为:CDN域名后直接拼接对象名) 如果不能正常
目的端存在源端同名对象(大小一致,且目的端最后修改时间晚于源端最后修改时间),重复对象,无需迁移。 对源端的操作 迁移前判断对象是否存在+对比数据需要一次请求:head 对目的端的操作 迁移前对比数据需要一次请求(判断对象是否存在):head 目的端存在源端同名对象(大小不一致,或源端最后修改时间晚于目的端最后修
x-bce-restore-days:3 参数说明 参数 说明 类型 是否必须 x-bce-restore-days 表示解冻后状态的持续时间,要求是数字,单位是天,取值大于0且不超过30即可。默认解冻持续天数是7天,最长30天。 int 否 x-bce-restore-tier
操作场景 当源端对象存储有数据处于归档状态,直接使用OMS迁移,解冻时间长导致迁移时间较长,可参考以下方案。 如果不提前使用恢复归档存储,全量依靠OMS自动恢复功能,每个对象触发解冻后,会等待1-5分钟(具体时间由源端对象存储决定),最终导致迁移速度缓慢,影响您的整体迁移进度。