检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于客户自建业务系统:通过客户自建业务系统触发新增、修改对象的同步请求。 当源端对象发生新增,修改时,客户自建业务系统通过接收源端对象存储服务的消息通知或解析业务系统数据库变化来主动捕获对象信息,然后调用OMS服务的同步接口,从而完成源端同步迁移。 操作步骤 以下是源端云服务商为华为云时,通过函数工作流服务配置源端同步请求的操作步骤。
OMPARISON_OVERWRITE:大小/最后修改时间对比覆盖。默认配置。迁移前源端对象与目的端对象同名时,通过对比源端和目的端对象大小和最后修改时间,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。源端与目的端同名对象大小不相同,或目的端对象的最后修改时间晚于源端
error_reason JSONObject 任务失败原因,参见表8。 total_size long 任务迁移总大小。 complete_size long 任务迁移完成大小。 start_time long 任务启动时间。 left_time long 任务剩余时间。 total_time
JSONObject 任务失败原因,参见表8。非失败状态时该字段为空字符串。 total_size long 任务迁移总大小。 complete_size long 任务迁移完成大小。 start_time long 任务启动时间。 left_time long 任务剩余时间。 total_time
OMPARISON_OVERWRITE:大小/最后修改时间对比覆盖。默认配置。迁移前源端对象与目的端对象同名时,通过对比源端和目的端对象大小和最后修改时间,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。源端与目的端同名对象大小不相同,或目的端对象的最后修改时间晚于源端
数据识别与准备 在迁移开始前,华为云OMS服务会先对源端存储系统中的数据进行识别,包括对象大小、最后修改时间以及位置等关键信息。基于这些信息,服务会为用户生成一个对应的迁移任务配置,确保迁移过程的高效性和准确性。 父主题: 迁移工作原理
源端对象存储不会再有新增数据。 ⑥增量迁移:将T2~T3时间段生成的新增数据迁移到华为云。 ⑦一致性验证:对比源端、目的端桶的对象总数和总大小,确保源端数据全部迁移完成。 迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产生的费用都遵从源端云服务提供商的计费规则并由其向您收取。
OMPARISON_OVERWRITE:大小/最后修改时间对比覆盖。默认配置。迁移前源端对象与目的端对象同名时,通过对比源端和目的端对象大小和最后修改时间,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。源端与目的端同名对象大小不相同,或目的端对象的最后修改时间晚于源端
来执行覆盖规则。规则说明参见表1。 表1 同名对象覆盖规则说明 覆盖规则 说明 大小/最后修改时间对比覆盖 对于源端和目的端存在的同名对象,如果对象大小相同,则保留最后修改时间较新的对象;如果对象大小不同,则源端覆盖目的端。 不覆盖 对于源端和目的端存在的同名对象,跳过源端对象,保留目的端对象。
data_center 是 String 数据中心,区域 最小长度:0 最大长度:100 page_size 是 Integer 分页信息,页大小 最小值:0 最大值:100 behind_filename 是 String 分页信息,当前页最后一个对象名称(偏移量) 最小长度:0 最大长度:1024
相比于迁移大对象,迁移同样大小的数据量,会有更多的列举对象和对比对象操作带来的时间消耗。 解决方式:通过创建迁移任务组,将源端待迁移对象智能拆分到多个迁移任务中并行迁移,提升迁移速度。 迁移数量较少的大对象 当迁移的对象数量较少(小于50个)且大小很大时,由于只会有一个线程迁移
该现象一般出现在增量迁移场景。创建增量迁移任务时,在“源端配置选项”区域,元数据迁移方式选择了“保留元数据”。增量迁移时,如果源端对象仅元数据信息发生变化,对象的内容、大小并没有改变,则仅迁移改变的元数据信息,不会迁移对象内容。因此,迁移完成后,出现迁移进度显示为0%,已传输容量为0,属于正常情况。 父主题:
迁移任务与迁移任务组的适用场景是什么? 是否支持同步源端删除操作? OMS保证迁移数据一致性的校验策略是什么? 迁移完成后,为什么目的端桶对象个数/大小与源端桶对象个数/大小不一致? 迁移是否会影响目的端桶的已有数据 迁移完成,为什么迁移进度和已传输容量均显示为0? 存储类型介绍
逻辑架构图 图1 存储迁移逻辑架构图 迁移流程实施 准备工作 创建目的端对象桶或者弹性文件系统。 评估集群 根据源端文件数量,自行评估集群大小及规格,将用于工作流中新建集群。 开始配置工作流 基于存储迁移工作流模板配置更加详细的参数,帮助您完成迁移工作。 确认并创建工作流,开始执行迁移任务。
百度云BOS 百度云BOS提供了调用RestoreObject接口来解冻归档对象,目前仅支持解冻指定对象,不支持批量解冻。 操作步骤 调用RestoreObject接口解冻归档对象。 调用接口者必须有归档存储对象的读权限,并且归档存储文件处于冰冻状态。 请求语法 POST /ObjectName
源端配置同步请求可参见源端配置同步请求。 监控同步任务状态可参见监控同步任务状态。 OMS将对象数据迁移到并行文件系统有以下限制: 若对象名以/结尾,则对象大小必须为0,否则不支持迁移。 对象名中不能出现连续/,例如:test//test。 在同一层级中,文件和文件夹的名称不能相同。 父主题: 各云服务商迁移教程
0013 任务参数校验失败, 请确保对象列表文件存在且可以正常获取(具有读写权限)。 TRF.0014 任务参数校验失败, 请确保对象列表文件大小不能超过100MB且必须是“.txt”类型的文件。 TRF.0018 任务参数校验失败,请确保对象列表文件中每一行的长度都不超过65535。
新增迁移是否会影响目的端桶的已有数据章节。 2021-09-16 第十六次正式发布。 新增迁移完成后,为什么目的端桶对象个数/大小与源端桶对象个数/大小不一致?章节。 2021-06-03 第十五次正式发布。 更新CDN常见问题场景以及解决方法有哪些?章节。 优化迁移任务执行失败怎么办?章节。
Key)加密调用请求。推荐使用AK/SK认证,其安全性比Token认证要高。 Token认证:通过Token认证通用请求。 AK/SK认证 AK/SK签名认证方式仅支持消息体大小12MB以内,12MB以上的请求请使用Token认证。 AK/SK既可以使用永久访问密钥中的AK/SK,也可以使用临时访问密钥中的AK/S
0013 任务参数校验失败。 请确保对象列表文件存在且可以正常获取(具有读写权限)。 TRF.0014 任务参数校验失败。 请确保对象列表文件为大小不超过100MB的“.txt”文件。 TRF.0015 源端账户不具有BLOB服务,无法实施迁移。 请重新输入可用的源端账户。 TRF.0016