检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用"多次同步方案"迁移增量对象数据 操作场景 本章节指导用户使用"多次同步方案"迁移增量对象数据。 主要迁移步骤如下所示: 使用OMS完成源端数据的全量迁移。 多次增量迁移数据,减少源端和目的端数据差异。 多次增量迁移后,确认一个能够接受的增量迁移时间窗,停止源端业务,启动最后一次增量迁移
风险提示 OMS根据源端厂商对象存储服务和华为云对象存储服务接口及协议,进行认证和一致性校验,涉及MD5、SHA1、CRC64以及基于MD5的HMAC算法的使用,存在因源端发生hash碰撞,导致要迁移的数据和实际迁移的数据不一致的风险,为确保数据一致性,可以在迁移后再次对源端、目的端数据进行完整的内容校验
隐私声明 请您在使用我们的产品(或服务)前,仔细阅读并了解本《隐私声明》。 本产品(或服务)的核心业务功能为对象存储数据迁移。 为了完成核心业务功能所需,您同意授权我们收集和使用您的个人信息或个人敏感信息,包括源端云厂商AK和SK、CDN鉴权密钥、目的端华为云AK和SK,以及调用您的华为云用户
产品优势 对象存储迁移服务具备的优势主要有如下几点: 简单易用 对象存储迁移服务的使用方法简单,您通过登录管理控制台创建迁移任务后,即可等待系统完成迁移,中途无需额外操作。 安全认证 对象存储迁移服务的鉴权支持AK/SK方式,启动数据传输时会充分认证身份的合法性,避免数据被盗用。
删除任务 功能介绍 调用该接口删除迁移任务。 正在运行的任务不允许删除,如果删除会返回失败。 URI DELETE /v1/{project_id}/objectstorage/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id
启动任务 功能介绍 任务暂停或失败后,调用该接口以启动任务。 URI PUT /v1/{project_id}/objectstorage/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 task_id
数据保护技术 OMS通过以下方式,保障数据迁移的安全性和完整性。 完整性校验:数据迁移完成后,默认通过对象大小/最后修改时间完成数据的完整性校验。详细介绍请参见一致性校验策略。 个人数据加密保护:为了确保您个人数据的安全性,OMS系统通过加密存储个人数据、控制个人数据访问权限以及记录操作日志等方法
迁移任务 适用场景 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。 支持的源端云服务商和数据类型 迁移任务支持的源端云服务商和数据类型包括: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云
迁移前准备工作 使用对象存储迁移服务前,请参考本节介绍完成准备工作。 注册华为账号 使用华为云之前,需要注册华为账号并开通华为云,还需要完成实名认证。 创建源端和目的端的访问密钥(AK/SK)并授权 源端: 如果源端为华为云OBS桶,检查对应账号是否有AK/SK以及列举桶,获取桶位置
迁移任务组 适用场景 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。 支持的源端云服务商和数据类型 迁移任务支持的源端云服务商和数据类型包括: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云
最佳实践汇总 本文汇总了基于对象存储迁移服务(Object Storage Migration Service,OMS)常见应用场景的操作实践,每个实践我们提供详细的方案描述和操作指导,用于指导您快速实现对象存储数据迁移。 表1 OMS最佳实践一览表 最佳实践 使用场景 优势 使用
查询API版本 功能介绍 查询对象存储迁移服务的API版本信息。 URI GET /v1/{project_id}/objectstorage/version 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 version 否 API
高频常见问题 产品咨询 迁移对源端数据是否有影响?源端数据改变对迁移结果有什么影响? 迁移完成后,如何修改已迁移对象路径? 如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? OMS保证迁移数据一致性的校验策略是什么? 迁移是否会影响目的端桶的已有数据 迁移限制
迁移流程 对象存储迁移服务 OMS的迁移工作原理图,如图1所示。 图1 迁移工作原理图 迁移工作流程说明: OMS服务请求获取一定数量的源端对象列表。 源端响应对象列表。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据
管理迁移任务 操作场景 创建迁移任务后,您可以对迁移任务执行启动/停止、重启、删除等操作。 操作步骤 登录管理控制台,进入“对象存储迁移服务”页面。 对目标迁移任务进行操作。 表1 管理迁移任务 项目 场景 操作 暂停迁移任务 因故暂停正在迁移的任务,比如:当迁移任务并发数超过系统的限制时
查看审计日志 通过云审计服务,您可以记录与对象存储迁移服务相关的操作事件,如下列各表所示。 您可以查看这些操作,以评估对服务的影响,具体请参见查看追踪事件。 在云审计的事件查询条件中,“事件来源”选择“OMS”。 表1 云审计服务支持的对象存储迁移服务资源类型列表 资源名称 资源类型
如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? 该问题可分为以下两种情况来说明: 如何保证增量数据如何迁移过来? 参见增量迁移对象数据。 源端数据有更新,如何同步过来? 需要重新全量迁移,OMS会自动识别更新后对象进行覆盖,具体覆盖条件请参考迁移是否会影响目的端桶的已有数据
SDK概述 本文介绍了对象存储迁移服务(OMS)提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 表1提供了OMS服务支持的SDK列表,您可以在GitHub
停止任务 功能介绍 当任务正在运行中时,调用该接口停止任务。 URI PUT /v1/{project_id}/objectstorage/task/{task_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 project_id 是 项目ID。 task_id
使用“源端/目的端双写方案”方案迁移增量对象数据 操作场景 本章节指导用户使用“源端/目的端双写方案”方案迁移增量对象数据。此方案优势在于可以确保业务零中断。 主要迁移步骤如下所示: 用户在全量迁移前,需配置业务同时向源端和目的端写数据,保证增量数据在两端都存在。 使用OMS完成源端数据的全量迁移