检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修订记录 发布日期 修订记录 2024-01-26 第十五次正式发布。 源端云厂商新增谷歌云。 2023-12-08 第十四次正式发布。 在创建单个迁移任务的目的端配置选项区域中新增“配置存储策略”功能。 2022-11-04 第十三次正式发布。 更新创建单个迁移任务操作步骤。 新增迁移前准备工作章节。
归档数据迁移方案 本节介绍各云服务商存在归档数据时,如何解冻并迁移到华为云OBS。 华为云OBS 阿里云OSS 腾讯云COS 百度云BOS 七牛云Kodo 金山云KS3 优刻得US3 亚马逊云S3 微软云Blob
迁移任务组 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。以组的方式进行管理,包括进度查询,暂停恢复,失败重启等。 迁移任务组相较于迁移任务,提供更快的迁移速度和可靠性,便于灵活识别异常对象并快速恢复。
同步任务 创建同步任务 源端配置同步请求 监控同步任务状态
迁移工作原理 概述 迁移流程 数据识别与准备 数据迁移 数据安全与完整性保障
API概览 对象存储迁移服务提供了版本查询接口和任务管理接口,如表1所示。 表1 对象存储迁移服务接口列表 类型 说明 查询API版本信息列表 查询对象存储迁移服务的API版本信息。 查询指定API版本信息 查询对象存储迁移服务指定API版本信息。 查询迁移任务列表 查询用户账户下的所有任务信息。
启后,如果遇到归档类型数据,会自动解冻再进行迁移;如果遇到归档类型的对象直接跳过相应对象,系统默认对象迁移失败并记录相关信息到失败对象列表中。 enable_kms Boolean 存储入OBS时是否使用KMS加密。 task_type String 任务类型,默认为PREFIX。
GET /{version} 表1 路径参数 参数 是否必选 参数类型 描述 version 是 String 版本信息。 最小长度:1 最大长度:10 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM鉴权Token。
迁移任务,最大化利用服务的并发性能。 支持以组的方式对迁移任务进行管理。 高效传输 并行迁移 支持多对象并行迁移。 解冻归档数据 对于归档类型的对象存储,支持自动解冻该对象后进行迁移。 自定义域名迁移 支持使用源端桶自定义域名迁移。 记录失败对象 支持记录迁移失败对象,以及重传这些失败对象。
记录操作日志等方法防止个人数据泄露,保证您的个人数据安全。 收集范围 对象存储迁移服务收集的个人数据如表1所示: 表1 个人数据范围列表 类型 收集方式及目的 是否可以修改 是否必须 生命周期 源端AK(Access Key) 用户在界面输入,用于鉴权认证 否 是,使用HTTP/HTTPS数据源时为非必须
使用"多次同步方案"迁移增量对象数据 操作场景 本章节指导用户使用"多次同步方案"迁移增量对象数据。 主要迁移步骤如下所示: 使用OMS完成源端数据的全量迁移。 多次增量迁移数据,减少源端和目的端数据差异。 多次增量迁移后,确认一个能够接受的增量迁移时间窗,停止源端业务,启动最后
表1 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM鉴权Token。 最小长度:1 最大长度:16384 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 versions Array of Version
迁移完成后,为什么目的端桶对象个数/大小与源端桶对象个数/大小不一致? 源端对象个数/大小>目的端对象个数/大小 源端对象个数>目的端对象个数 可能原因:源端有增量对象或源端扫描有问题。 判断方法:再次创建OMS迁移任务进行增量迁移,查看源端桶扫描对象数与上次迁移时OMS统计的源
ARCHIVE:华为云OBS归档存储 DEEP_ARCHIVE:华为云OBS深度归档存储 SRC_STORAGE_MAPPING:保留源端存储类型,将源端存储类型映射为华为云OBS存储类型 缺省值:STANDARD 最小长度:0 最大长度:128 枚举值: STANDARD IA ARCHIVE DEEP_ARCHIVE
项目ID。 version 否 API版本号。 请求消息 请求参数 无。 响应消息 响应参数 响应参数如表2所示。 表2 响应参数 参数 参数类型 描述 id String API版本号。 links String API的URL地址。 version String API支持的最高版本号。
迁移前准备工作 使用对象存储迁移服务前,请参考本节介绍完成准备工作。 注册华为账号 使用华为云之前,需要注册华为账号并开通华为云,还需要完成实名认证。 创建源端和目的端的访问密钥(AK/SK)并授权 源端: 如果源端为华为云OBS桶,检查对应账号是否有AK/SK以及列举桶,获取桶
体信息请查看表2。 同步请求接收地址 将源端同步请求发送到本地址,触发同步。同步请求接口请参考创建同步事件。 表2 对象列表信息介绍 对象类型 所在目录 列表内容 成功对象 oms/sync_task/同步任务ID/success_object_lists 发生时间(参照当前区域所属时区)+
源端对象存储访问频率过高导致迁移失败怎么办? 为保证较高的迁移速率,迁移任务执行过程中,对象存储迁移服务会以较高频率调用源端对象存储API。由于某些源端对象存储对访问频率进行了限制,当访问频率过高时就会导致迁移任务失败。 解决办法: 联系源端云服务提供商,修改源端对象存储对访问频率的限制值以满足迁移的要求。
使用“源端/目的端双写方案”方案迁移增量对象数据 操作场景 本章节指导用户使用“源端/目的端双写方案”方案迁移增量对象数据。此方案优势在于可以确保业务零中断。 主要迁移步骤如下所示: 用户在全量迁移前,需配置业务同时向源端和目的端写数据,保证增量数据在两端都存在。 使用OMS完成
创建用户并使用OMS 如果您需要对您所拥有的OMS进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用OMS。