检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
归档数据迁移方案 本节介绍各云服务商存在归档数据时,如何解冻并迁移到华为云OBS。 华为云OBS 阿里云OSS 腾讯云COS 百度云BOS 七牛云Kodo 金山云KS3 优刻得US3 亚马逊云S3 微软云Blob
OMS最佳实践一览表 最佳实践 使用场景 优势 使用“回源配置方案”迁移增量对象数据 大批量数据迁移场景使用,优先选择此方案。此方案受OBS限制,具体的约束请见数据回源。 业务零中断,增量迁移间未同步的数据通过回源配置保证用户无感知。 可靠性高:割接前用户业务校验充分,增量迁移时全量扫描校验确保数据无遗漏。
目的端AK/SK 访问权限控制 用户个人数据通过加密后存储在对象存储迁移服务数据库中,数据库的访问需要通过白名单的认证与授权。 API接口限制 用户调用API接口时,需要使用IAM Token进行认证。
对目标迁移任务进行操作。 表1 管理迁移任务 项目 场景 操作 暂停迁移任务 因故暂停正在迁移的任务,比如:当迁移任务并发数超过系统的限制时,暂停部分次要迁移任务,优先执行重要的迁移任务。 单击任务操作列的“停止”按钮 。 仔细阅读弹出窗口中的内容后单击“确定”,暂停该迁移任务。
校验策略为该对象是否同时满足以下条件,不满足则校验失败,并记录到失败对象列表中。 目的端对象的加密状态与任务是否开启KMS加密的状态一致,状态不一致的处理方法请参见:如何解决KMS状态错误导致的迁移任务失败? 源端与目的端对象的大小一致。 目的端对象的最后修改时间不早于源端对象的最后修改时间。 父主题: 产品咨询
用户根据实际场景来选择。 事件通知名称(可选) 事件名称会自动生成,用户也可自定义。 前缀(可选) 输入一个可选性前缀来限制对以此关键字开头的对象的通知。 后缀(可选) 输入一个可选性后缀来限制对以此关键字结尾的对象的通知。 单击“创建函数”按钮,进入函数详情界面。 单击“设置”页签,选择“常规设
虑网络环境的情况下分析迁移速度慢的原因可能有下面几个方面: 大量的小对象 由于每个迁移任务的最大并发数是固定的,导致同时在迁移的对象数是有限制的。迁移前会列举对象,每个对象迁移完成后,都会对比源端和目的端是否一致。相比于迁移大对象,迁移同样大小的数据量,会有更多的列举对象和对比对象操作带来的时间消耗。
从控制台获取项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目列表API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。
迁移任务支持的源端云服务商和数据类型包括: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云 七牛云 青云 百度云 金山云 优刻得 HTTP/HTTPS数据源 支持的功能 功能 说明 创建迁移任务组 将一个迁移任务智能拆分为多个迁移任务,并以组的方式进行管理。 查看迁移任务组 创建迁移任
迁移”该如何处理? MIGRATE_SRC_ARCHIVE_OBJ_FAILURE 归档数据未解冻迁移失败 重新创建迁移任务,并打开自动解冻。如存在大量归档数据可以先手动解冻再迁移。 说明: 解冻方式请参照迁移失败后提示“无法读取归档类型数据,请解冻数据后进行迁移”该如何处理?
任务迁移完成,但目的端对象数据加密状态不正确。 请确认目的端区域是否支持KMS加密。 TRF.0159 由于源端对象存储访问频率过高,受源端限制导致任务失败。 请参考返回的error message,或者联系技术支持。 TRF.0160 无法读取归档类型数据。 请解冻数据后进行迁移。
Administrator”与“OBS Administrator”。 自定义策略:如果IAM用户只需要拥有OMS的部分操作权限,则使用自定义策略,参见如何获取源端桶权限和目的端桶权限? 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户的“访问方式”必须同时勾选“编程访问”和“管理控制台访问”。
returned error message or contact technical support. 由于源端对象存储访问频率过高,受源端限制导致任务失败。 请参考返回的error message,或者联系技术支持。 200 TRF.0160 Failed to read archived
青云QingStor迁移至华为云OBS教程 谷歌云storage迁移至华为云OBS教程 亚马逊云S3迁移至华为云教程 微软云Blob迁移至华为云OBS教程 HTTP/HTTPS 数据源迁移至华为云OBS教程
US3、亚马逊 S3、微软 Blob、NAS_SMB、NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL、HTTP/HTTPS数据源迁移。 逻辑架构图 图1 存储迁移逻辑架构图 迁移流程实施 准备工作 创建目的端对象桶或者弹性文件系统。 评估集群 根据源端文件数
/SK。 如果迁移任务处于等待状态,则AK/SK会被暂时保存。AK/SK的最大保存时间为72小时。 传输加密 对象存储迁移服务支持通过HTTPS加密在线传输数据,确保数据在传输过程中的安全。 源端云服务提供商可能只支持HTTP在线传输,请在迁移前及时了解。 存储加密 对象存储迁移
在“桶名或路径”文本框中输入源端桶名或带桶名的路径。 单击“连接源端桶”。 对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,会提示连接桶成功。 关闭“是否指定桶名”(默认设置) 单击“列举源端桶”。 对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,且您的账号具有列举桶名的权限,则会在“桶名”中列举您名下的所有桶。
Aliyun、Tencent、HuaweiCloud、QingCloud、KingsoftCloud、Baidu、Qiniu或URLSource(HTTP/HTTPS数据源)。默认值为Aliyun。 若不设置或为空,则使用默认值。 说明: 当表2中task_type为url_list时,cloud_type必须为URLSource。
设置迁移限速 迁移任务组 API OMS提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,实现创建、查询、暂停、删除任务等操作。 发布区域:全部 API概览 SDK OMS提供多种开发语言的SDK,帮助您轻松实现二次
send_oms(object_key): """ apig鉴权后,将oss桶内变更对象信息发送给oms服务,apig鉴权具体方法参考:(https://support.huaweicloud.com/devg-apisign/api-sign-sdk-python.html)