检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以确保源端云服务商的对象存储服务可以针对源端新增、修改对象实时调用OMS同步接口(例如,通过消息通知或函数计算服务方式),以完成对源端新增、修改对象数据的同步迁移。 配置条件 实时获取源端新增、修改对象名称。 调用OMS同步接口,将源端变化对象传递给对象存储迁移服务 OMS,从而完成源端同步迁移。
OMS服务通过公网从源端对象存储服务读取文件对象,并将文件对象写入OMS服务所支持Region内的对象存储服务OBS桶中。 场景二:Region内迁移 OMS服务通过内部网络从源端对象存储服务读取文件对象,并将文件对象写入OMS服务所支持Region内的对象存储服务OBS桶中。
内容。获取方式参见源端桶权限获取。 目的端桶权限获取 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权限获取。
最佳实践汇总 本文汇总了基于对象存储迁移服务(Object Storage Migration Service,OMS)常见应用场景的操作实践,每个实践我们提供详细的方案描述和操作指导,用于指导您快速实现对象存储数据迁移。 表1 OMS最佳实践一览表 最佳实践 使用场景 优势 使用“回源配置方案”迁移增量对象数据
source_cdn_authentication_key 否 String CDN鉴权秘钥。 migration_failed_object 否 Boolean 迁移类型,标识是否为全量迁移。 值为true时表示重传失败对象。 值为空或者为false时表示全量迁移。 响应消息 响应参数 无。 示例 请求示例 PUT
桶或者对象的访问权限)。请确认桶名正确后重试。 TRF.0059 目的端对象不存在(迁移过程中请勿修改目的端桶或者对象的访问权限)。请确认桶名或对象名正确后重试。 TRF.0060 用于存储迁移对象的路径太长, 请更改要迁移的对象的名称或路径。 TRF.0061 目的端对象存储服务异常,请稍后重试。
腾讯云COS 腾讯云对象存储COS,可通过控制台解冻归档对象,也可通过coscmd工具来解冻归档对象,支持批量解冻。 控制台解冻 登录腾讯云对象存储控制台。 在左侧导航栏中,单击存储桶列表,进入存储桶列表页面。 找到对象所在的存储桶,单击其存储桶名称,进入存储桶管理页面。 在左侧
迁移任务 适用场景 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。 支持的源端云服务商和数据类型 迁移任务支持的源端云服务商和数据类型包括: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云
本产品(或服务)的核心业务功能为对象存储数据迁移。 为了完成核心业务功能所需,您同意授权我们收集和使用您的个人信息或个人敏感信息,包括源端云厂商AK和SK、CDN鉴权密钥、目的端华为云AK和SK,以及调用您的华为云用户ID、项目ID和账号ID。 我们收集您的上述信息,将用于为您提供对象存储迁移服务。
新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择对象存储迁移服务,进入对象存储迁移服务主界面,单击右上角“创建迁移任务”,如果可以创建迁移任务,表示“OMS Administrator”已生效。 在“服务列表”中选择除对象存储迁移服务外(假设当前策略仅包含OMS Admini
风险提示 OMS根据源端厂商对象存储服务和华为云对象存储服务接口及协议,进行认证和一致性校验,涉及MD5、SHA1、CRC64以及基于MD5的HMAC算法的使用,存在因源端发生hash碰撞,导致要迁移的数据和实际迁移的数据不一致的风险,为确保数据一致性,可以在迁移后再次对源端、目的端数据进行完整的内容校验。
迁移任务 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。 对客户开放迁移任务API,客户可根据自身业务诉求进行定制化开发,例如周期性定时创建同步任务。 创建迁移任务 查看迁移任务 管理迁移任务
在什么条件下使用基于评估创建迁移任务? 如果桶内数据容量超过3TB,数量超过500万个,推荐您创建迁移任务组进行迁移。系统会根据桶内对象的存量和数量分布,自动划分为多个迁移任务,提高迁移效率、减少迁移时间。 父主题: 产品咨询
查看审计日志 通过云审计服务,您可以记录与对象存储迁移服务相关的操作事件,如下列各表所示。 您可以查看这些操作,以评估对服务的影响,具体请参见查看追踪事件。 在云审计的事件查询条件中,“事件来源”选择“OMS”。 表1 云审计服务支持的对象存储迁移服务资源类型列表 资源名称 资源类型
归档数据迁移方案 本节介绍各云服务商存在归档数据时,如何解冻并迁移到华为云OBS。 华为云OBS 阿里云OSS 腾讯云COS 百度云BOS 七牛云Kodo 金山云KS3 优刻得US3 亚马逊云S3 微软云Blob
务组时,设置“保存到指定前缀”参数,设置后源端对象迁移到目的端,会在对象名前增加设置的前缀。 例如: 源端迁移对象文件为:oms_a.txt、oms_b.txt,设置“保存到指定前缀”参数为:Test-Prefix,那么迁移后的对象文件变为:Test-Prefixoms_a.txt、Test-Prefixoms_b
统计本月截止目前接收到的来自源端发送的同步请求对象数量。 同步对象数(本月) 成功 统计本月截止目前同步成功的对象,可通过对象列表在目的桶中查看同步成功对象列表。 失败 统计本月截止目前同步失败的对象,可通过对象列表在目的桶中查看同步失败对象列表。 忽略 统计本月截止目前同步忽略的对象,可通过对象列表在目的桶中查看忽略对象列表。
同步任务 适用场景 同步任务用于源端变更对象主动同步的场景,通过在源端对象存储服务配置事件触发器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步接口,及时将数据同步到华为云OBS侧。 目前只支持华北-北京四、华东-上海一地区。 支持的源端云服务商 同步任务支持迁移的源端云服务提供商包括:
目的端响应对象元数据。 根据对象元数据判断对象是否需要迁移。 若迁移任务配置“同名对象覆盖方式”选择“不覆盖”或者“全覆盖”,则步骤5~7跳过。 OMS服务请求获取源端对象数据。 源端响应对象数据。 OMS服务将对象数据写入目的端。 目的端响应写入结果。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。
安全 身份认证与访问控制 数据保护技术 风险提示 审计与日志