检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并发执行同步中的任务数量最多为5个。 对象列表文件 对象列表文件大小不能超过1024MB。 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称,并且对象名称使用URL
并发执行同步中的任务数量最多为5个。 对象列表文件 对象列表文件大小不能超过1024MB。 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称,并且对象名称使用URL
Service,OMS)常见应用场景的操作实践,每个实践我们提供详细的方案描述和操作指导,用于指导您快速实现对象存储数据迁移。 表1 OMS最佳实践一览表 最佳实践 使用场景 优势 使用“回源配置方案”迁移增量对象数据 大批量数据迁移场景使用,优先选择此方案。此方案受OBS限制,具体的约束请见数据回源。
指定对象列表 指定对象列表方式,一般用于增量迁移场景,用户需要将待迁移的源端对象名称逐一写入一个对象列表文件。再将这个对象列表文件放在华为云obs桶中,对象存储迁移服务会读取这个对象列表文件,并迁移文件中列出的所有对象。 说明: 对象列表文件大小不能超过1024MB。 对象列表文件中
迁移完成后,不会删除目的端桶的已有数据。 存在同名对象,会根据创建任务/任务组时,高级选项中的同名对象覆盖方式来执行覆盖规则。规则说明参见表1。 表1 同名对象覆盖规则说明 覆盖规则 说明 大小/最后修改时间对比覆盖 对于源端和目的端存在的同名对象,如果对象大小相同,则保留最后修改时
/v1/{domain_id}/objectstorage/quotas 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 domain_id 是 租户ID。 请求消息 请求参数 无。 响应消息 响应参数 响应参数如表2所示。 表2 响应参数 参数 参数类型 描述 type String 租户
3中输入的目的端AK/SK得到的桶列表。 请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。 在“选择对象列表文件”区域内单击“选择”,选择用户指定的对象列表文件夹,单击“确定”。 说明: 对象列表文件大小不能超过1024 MB。 对象列表目录下的文件个数不能超过2000个。
对象存储迁移服务 OMS的迁移工作原理图,如图1所示。 图1 迁移工作原理图 迁移工作流程说明: OMS服务请求获取一定数量的源端对象列表。 源端响应对象列表。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据。 根据对象元数据判断对象是否需要迁移。
在迁移过程中,每迁移完一个对象,会对该对象进行一致性校验,如果不一致则会将该对象记录到失败对象列表中。OMS会累积记录迁移失败对象个数,可以通过任务详情查看具体的迁移数据统计。 校验策略为该对象是否同时满足以下条件,不满足则校验失败,并记录到失败对象列表中。 目的端对象的加密状态与任务是否开启KMS加密的状态一致,
storage/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 task_id 是 任务ID。 请求消息 请求参数 请求参数如表2所示。 表2 请求参数 参数 是否必选 参数类型 描述 operation
storage/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 task_id 是 任务ID。 请求消息 请求参数 请求参数如表2所示。 表2 请求参数 参数 是否必选 参数类型 描述 operation
败对象、忽略对象等列表文件,存放在您的目的桶中。 获取对象列表的方法请参见下表。 如果... 那么... 已迁移对象数大于0 在任务详情中找到“成功对象列表路径”,单击路径链接跳转到OBS控制台,下载相应的txt文件,查看成功对象列表。 说明: 成功对象列表路径说明:oms/ta
迁移并行文件系统内的对象数据有哪些限制? 当待迁移对象所属文件层级过深时,建议通过创建迁移任务组进行迁移。如果通过创建迁移任务进行迁移,可能出现列举对象超时,导致列举中断。 父主题: 迁移限制
迁移失败后提示“无法读取归档类型数据,请解冻数据后进行迁移”该如何处理? 出现该提示的主要原因是源端对象存储有数据处于归档状态,需要解冻数据后再进行迁移。您可以使用以下方式进行处理: 使用工具或在控制台恢复源端归档存储,建议恢复时间设置较长。 源端为其他云服务厂商时,具体解冻方式以源端云服务商为准。
选择“指定URL列表目录”迁移方式。 在“列表目录所在桶(华为云)”下拉列表中,选择存放URL列表文件的OBS桶。 请确保URL列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。 在“选择URL列表目录”参数后面,单击“选择”按钮,弹出“选择URL列表目录”窗口,选
解决方案 方案一:手动重启迁移任务。 方案二:在业务代码中实现自动检查任务+重启失败任务列表。 方案三:使用函数工作流自动检查任务+重启失败任务列表,方法请参见自动检查并重启失败的迁移任务。 父主题: 异常恢复
单个迁移任务或迁移任务组任务,都会将迁移失败的对象记录在一个以任务名称命名的失败对象列表文件中,并将该文件上传到目的端桶的“oms/failed_object_lists/”路径下。 失败对象列表文件,最多记录10万个失败对象。 失败对象超过10万个的场景,建议基于已有失败对象列表,分析处理后重新迁移。 该文件记录
判断方法:再次创建OMS迁移任务进行增量迁移,查看源端桶扫描对象数与上次迁移时OMS统计的源端桶对象数是否一致,并通过对象列表确认新增对象。如果扫描结果不一致,可通过对象列表确认新增对象;如果扫描结果一致,即OMS对源端扫描有问题。 解决方案:如果源端有新增对象,可通过增量迁移将新增对象迁
时将源端数据下载后上传到目的端;迁移完成后校验文件,会产生API请求。API请求分为每个对象基本请求+ 公共请求(列举对象,上传失败对象列表,网络异常重试,自动解冻等)。不同场景下,API请求次数不同。 目的端不存在源端同名对象 对源端的操作 迁移前判断对象是否存在+对比数据需要一次请求:head
选择“指定对象列表”迁移方式。 在“列表目录所在桶(华为云)”下拉列表中,选择存放列表文件的桶。 请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表目录。 在“选择对象列表目录”参数后面,单击“选择”按钮,弹出“选择对象列表目录”窗口,选择包含所有对象列表的文件夹,单击“确定”,如图7所示。