检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图6 选择完成 “指定对象列表”迁移方式。 在“列表文件所在桶(华为云)”下拉列表中,选择存放列表文件的桶。 请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。 在“选择对象列表文件”参数后面,单击“选择”按钮,弹出“选择对象列表文件”窗口,选择包含所有对象文件名的
选择“指定对象列表目录”迁移方式。 在“列表目录所在桶(华为云)”下拉列表中,选择存放列表文件的桶。 请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表目录。 在“选择对象列表目录”参数后面,单击“选择”按钮,弹出“选择对象列表文件”窗口,选择包含所有对象列表的文件夹,单击“确定”,如图7所示。
图6 选择完成 “指定对象列表”迁移方式。 在“列表文件所在桶(华为云)”下拉列表中,选择存放列表文件的桶。 请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。 在“选择对象列表文件”参数后面,单击“选择”按钮,弹出“选择对象列表文件”窗口,选择包含所有对象文件名的
图6 选择完成 “指定对象列表”迁移方式。 在“列表文件所在桶(华为云)”下拉列表中,选择存放列表文件的桶。 请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。 在“选择对象列表文件”参数后面,单击“选择”按钮,弹出“选择对象列表文件”窗口,选择包含所有对象文件名的
在什么条件下使用基于评估创建迁移任务? 如果桶内数据容量超过3TB,数量超过500万个,推荐您创建迁移任务组进行迁移。系统会根据桶内对象的存量和数量分布,自动划分为多个迁移任务,提高迁移效率、减少迁移时间。 父主题: 产品咨询
若不添加该参数,则默认迁移全桶的数据。 待迁移的对象会被记录在txt类型的列表文件中(每个迁移任务对应一个列表文件),并存放在目的端桶的“oms/taskgroup/”路径下。当任务组迁移完成后,这些列表文件会保留下来,您可以手动删除它们。 指定对象列表目录 指定对象列表目录方式,一般用于增量迁移场景,用户需要将
图6 选择完成 “指定对象列表”迁移方式。 在“列表文件所在桶(华为云)”下拉列表中,选择存放列表文件的桶。 请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。 在“选择对象列表文件”参数后面,单击“选择”按钮,弹出“选择对象列表文件”窗口,选择包含所有对象文件名的
OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。 在迁移过程中,系统将自动在目的端桶创建一个名为“OMS
Boolean 是否自动解冻归档数据,默认否。 开启后,如果遇到归档类型数据,会自动解冻再进行迁移。 enable_kms 是 Boolean 是否开启KMS加密,默认不开启。 缺省值:false task_type 否 String 任务类型,默认为PREFIX。 LIST:对象列表迁移 URL_LIST:URL列表迁移,
方案二:在业务代码中实现自动检查任务+重启失败任务列表。 方案三:使用函数工作流自动检查任务+重启失败任务列表,方法请参见自动检查并重启失败的迁移任务。 父主题: 异常恢复
指定对象列表 指定对象列表方式,一般用于增量迁移场景,用户需要将待迁移的源端对象名称逐一写入一个对象列表文件。再将这个对象列表文件放在华为云obs桶中,对象存储迁移服务会读取这个对象列表文件,并迁移文件中列出的所有对象。 说明: 对象列表文件大小不能超过1024MB。 对象列表文件中
选择源端对象:支持多种对象选择方式,包括文件/文件夹、对象列表、指定对象前缀。 按条件过滤源端对象:支持迁移指定时间后的源端对象。 多任务创建 对于大容量、大规模的对象迁移,对象存储迁移服务提供了创建迁移任务组功能,能够自动划分并创建迁移任务,最大化利用服务的并发性能。 支持以组的方式对迁移任务进行管理。
经过URL编码)、失败对象(未经过URL编码)、源端SDK返回的错误描述信息。迁移失败处理措施具体请参考表1。 图1 失败对象列表内容 表1 失败对象列表错误码 失败对象列表错误码 说明 处理措施 GET_SRC_OBJ_META_FAILURE 获取源端对象元数据失败 排查源端对象:是否存在?是否有读取权限?
自动检查并重启失败的迁移任务 方案概述 通过API调用启动迁移任务/迁移任务组后,由于网络波动或其他原因导致迁移任务失败,需要重新启动迁移任务/迁移任务组,可以通过以下方式重新启动: 手动调用API重新启动迁移任务/迁移任务组。 在业务代码中自动检测并调用API重新启动迁移任务/迁移任务组。
用户在全量迁移前,需配置业务同时向源端和目的端写数据,保证增量数据在两端都存在。 使用OMS完成源端数据的全量迁移。迁移过程中OMS会自动识别源端和目的端的同名对象并按条件进行覆盖,具体覆盖策略请参考迁移是否会影响目的端桶的已有数据。 OMS全量迁移结束后+业务验证OK后将业务切换到华为云并停止业务向源端写数据。
当源端对象存储有数据处于归档状态,直接使用OMS迁移,解冻时间长导致迁移时间较长,可参考以下方案。 如果不提前使用恢复归档存储,全量依靠OMS自动恢复功能,每个对象触发解冻后,会等待1-5分钟(具体时间由源端对象存储决定),最终导致迁移速度缓慢,影响您的整体迁移进度。 在OBS桶中仅开启归档数据直读
重新迁移。 使用OMS进行迁移,并开启“解冻归档数据”功能,遇到用户遗漏的归档对象,OMS支持自动恢复。 如果不提前使用恢复归档存储,全量依靠OMS自动恢复功能,每个对象触发解冻后,会等待1-5分钟(具体时间由源端对象存储决定),最终导致迁移速度缓慢,影响您的整体迁移进度。 在O
最大长度:16384 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 versions Array of Version objects 版本信息列表。 数组长度:0 - 1024 表3 Version 参数 参数类型 描述 id String 版本号,例如v1。
个人数据访问权限以及记录操作日志等方法防止个人数据泄露,保证您的个人数据安全。 收集范围 对象存储迁移服务收集的个人数据如表1所示: 表1 个人数据范围列表 类型 收集方式及目的 是否可以修改 是否必须 生命周期 源端AK(Access Key) 用户在界面输入,用于鉴权认证 否
object_key 否 Array of strings 任务类型为对象迁移任务时,表示待迁移对象名称(以“/”结尾的字符串代表待迁移的文件夹,非“/”结尾的字符串代表待迁移的文件。); 任务类型为前缀迁移任务时,表示待迁移前缀。 整桶迁移时,此参数设置为[""]。 最小长度:0 最大长度:1024