检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据识别与准备 在迁移开始前,华为云OMS服务会先对源端存储系统中的数据进行识别,包括对象大小、最后修改时间以及位置等关键信息。基于这些信息,服务会为用户生成一个对应的迁移任务配置,确保迁移过程的高效性和准确性。 父主题: 迁移工作原理
该问题可分为以下两种情况来说明: 如何保证增量数据如何迁移过来? 参见增量迁移对象数据。 源端数据有更新,如何同步过来? 需要重新全量迁移,OMS会自动识别更新后对象进行覆盖,具体覆盖条件请参考迁移是否会影响目的端桶的已有数据。 父主题: 产品咨询
)或业务造成一定影响。建议根据实际业务添加限速策略,具体操作请参见创建单个迁移任务中“流量控制”说明。 迁移中源端产生的相关费用用户未提前识别,导致欠费对业务造成影响。OMS相关费用产生逻辑请参见计费说明。 源端数据改变对迁移结果有何影响: 新增数据: 迁移默认按照所选前缀的字典
用户在全量迁移前,需配置业务同时向源端和目的端写数据,保证增量数据在两端都存在。 使用OMS完成源端数据的全量迁移。迁移过程中OMS会自动识别源端和目的端的同名对象并按条件进行覆盖,具体覆盖策略请参考迁移是否会影响目的端桶的已有数据。 OMS全量迁移结束后+业务验证OK后将业务切换到华为云并停止业务向源端写数据。
通过一个完整的流程,向您介绍如何快速上手使用对象存储迁移服务。 入门指导 对象存储迁移流程 创建单个迁移任务 04 实践 在不改造业务系统本身的条件下,快速识别待迁移的增量数据并迁移到华为云。 最佳实践 增量迁移对象数据 05 API 通过OMS开放的丰富API和调用示例,您可以使用并创建任务、启动任务、删除任务等。
TaskGroupSrcNode{ Ak: &akSrcNode, Sk: &skSrcNode, Region: ®ionSrcNode, Bucket: &bucketSrcNode, CloudType: &cloudTypeSrcNode, ListFile:
cloudTypeSrcNode:= "HuaweiCloud" regionSrcNode:= "cn-north-1" akSrcNode:= "src_ak" skSrcNode:= "src_sk" bucketSrcNode:= "src_bucket" srcNodebody
Python SDK使用指导 Go huaweicloud-sdk-go-v3 Go SDK使用指导 NodeJs huaweicloud-sdk-nodejs-v3 NodeJs SDK使用指导 PHP huaweicloud-sdk-php-v3 PHP SDK使用指导
少量数据快速增量迁移场景使用: 客户自动识别增量对象列表,然后使用OMS对象列表迁移; 记录迁移开始时间,设置迁移指定时间 速度快,业务短时间中断,操作简单。 增量迁移时长评估: 增量迁移时长=识别增量数据的时间(源端桶和目的端桶比对识别新增数据)+增量数据迁移时间。 迁移归档存储数据
迁移工作原理 概述 迁移流程 数据识别与准备 数据迁移 数据安全与完整性保障
响应参数 参数 参数类型 描述 id long 任务ID。 name String 任务名称。 src_node JSONObject 源端节点信息,参见表3。 dst_node JSONObject 目的端节点信息,参见表5。 thread_num int 迁移线程数。 status
project_id 是 项目ID。 请求消息 请求参数 表2 请求参数 参数 是否必选 参数类型 描述 src_node 是 JSONObject 源端节点信息,参见表3。 dst_node 是 JSONObject 目的端节点信息,参见表6。 enableKMS 是 boolean 是否使用KMS加密。
表2 响应参数 参数 类型 描述 id long 任务ID。 name String 任务名称。 src_node JSONObject 源端节点信息,参见表3。 dst_node JSONObject 目的端节点信息,参见表5。 thread_num int 迁移线程数。 status
多次增量迁移后,确认一个能够接受的增量迁移时间窗,停止源端业务,启动最后一次增量迁移,迁移完成后启动目的端写业务。 用户通过业务侧自动识别增量对象列表,然后使用OMS指定对象列表迁移方式,能快速完成增量数据识别+ 迁移。 父主题: 业务割接方案最佳实践
Header: Content-Type: application/json X-Auth-Token: "Token" Body: { "src_node" : { "region" : "source_bucket_region", "ak" : "sorce_ak", "sk"
移任务中并行迁移。以组的方式进行管理,包括进度查询,暂停恢复,失败重启等。 迁移任务组相较于迁移任务,提供更快的迁移速度和可靠性,便于灵活识别异常对象并快速恢复。 创建迁移任务组 查看迁移任务组 管理迁移任务组
src_node TaskGroupSrcNodeResp object 源端信息 description String 任务描述,不能超过255个字符,且不能包含^<>&"'等特殊字符。 最小长度:0 最大长度:255 dst_node TaskGroupDstNodeResp
进行管理,包括进度查询,暂停恢复,失败重启等。创建方式参见创建迁移任务组。 迁移任务组相较于迁移任务,提供更快的迁移速度和可靠性,便于灵活识别异常对象并快速恢复。 父主题: 产品咨询
选择元数据迁移方式。 选择“忽略元数据”,OMS只迁移源端ContentType元数据。 选择“保留元数据”,OMS会迁移支持范围内的元数据。 仅支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外,其他所有字符均不支持。 设置迁移指定时间后的对象,使用时间过滤源端待迁移对象。 选择“否”,不过滤源端待迁移对象。
如图1、图2所示,如果Content-Length与元数据大小不一致,优先排查源端CDN是否配置图片压缩,确认后解除相关配置,重新迁移即可。 图1 元数据 图2 CDN配置图片压缩后 如果源端最后修改时间晚于CDN获取的Last-Modified,重新预热CDN数据后,再进行迁移即可。