检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
一致性校验 大小/最后修改时间校验:默认配置,通过对比源端和目的端对象大小+最后修改时间,判断迁移后数据是否完整。 CRC64校验:通过对比源端和目的端对象元数据中CRC64值,判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间校验策略。
背景信息 本教程讲解了如何将优刻得对象存储(US3)上的数据迁移到华为云对象存储 OBS。 华为云对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移服务,可以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
一致性校验 大小/最后修改时间校验:默认配置,通过对比源端和目的端对象大小+最后修改时间,判断迁移后数据是否完整。 CRC64校验:通过对比源端和目的端对象元数据中CRC64值,判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间校验策略。
迁移前判断对象是否存在+对比数据需要一次请求:head 对目的端的操作 迁移前对比数据需要一次请求(判断对象是否存在):head 目的端存在源端同名对象(大小不一致,或源端最后修改时间晚于目的端最后修改时间),不同对象,目的端对象会被源端对象覆盖。 对源端的操作 迁移前判断对象是否存在+对比数据需要一次请求:head
敏感数据进行加密存储: 源端AK/SK 源端CDN密钥 目的端AK/SK 访问权限控制 用户个人数据通过加密后存储在对象存储迁移服务数据库中,数据库的访问需要通过白名单的认证与授权。 API接口限制 用户调用API接口时,需要使用IAM Token进行认证。
源端响应对象列表。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据。 根据对象元数据判断对象是否需要迁移。 若迁移任务配置“同名对象覆盖方式”选择“不覆盖”或者“全覆盖”,则步骤5~7跳过。 OMS服务请求获取源端对象数据。 源端响应对象数据。
64值是否相同,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。如果源端与目的端对象元数据中不存在CRC64值,则系统会默认使用SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE(大小/最后修改时间对比覆盖)来对比进行覆盖判断。FULL_OV
创建迁移任务时您需要输入AK/SK进行安全认证,校验成功后,系统才可以访问源端和目的端的迁移数据,从而成功创建迁移任务。 迁移任务创建成功后,AK/SK会被加密存放在数据库中。加密AK/SK采用的是业界通用的高级加密标准AES(Advanced Encryption Standard)。 当迁移任务失败、成功或者暂停时,会删除AK/SK。
64值是否相同,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。如果源端与目的端对象元数据中不存在CRC64值,则系统会默认使用SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE(大小/最后修改时间对比覆盖)来对比进行覆盖判断。FULL_OV
OMS将对象数据迁移到并行文件系统有以下限制(并行文件系统限制): 若对象名以/结尾,则对象大小必须为0,否则不支持迁移。 对象名中不能出现连续/,例如:test//test。 在同一层级中,文件和文件夹的名称不能相同。 父主题: 迁移限制
以迁移速度会很慢。 解决方式:先在源端批量解冻,再进行迁移,具体方案请参见迁移归档存储数据。 存在大量的忽略对象 在迁移过程中会先通过对比判断对象是否需要迁移,当存在大量忽略对象时,由于对比对象的操作有时间消耗,且不计入流量,所以迁移速度会显示很慢。 这种情况请耐心等待,无法提升迁移的速度。
存储类型介绍 各云厂商的对象存储服务针对用户业务对存储性能、成本的不同诉求,将对象的存储级别进行了区分,区分的普遍依据是对象的访问频度、访问时延、最低存储时间、最低存储单元、数据可靠性、数据可用性等。根据以上依据,华为云OBS提供了以下四种存储类型: 标准存储 访问时延低和吞吐量
在什么条件下使用基于评估创建迁移任务? 如果桶内数据容量超过3TB,数量超过500万个,推荐您创建迁移任务组进行迁移。系统会根据桶内对象的存量和数量分布,自动划分为多个迁移任务,提高迁移效率、减少迁移时间。 父主题: 产品咨询
64值是否相同,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。如果源端与目的端对象元数据中不存在CRC64值,则系统会默认使用SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE(大小/最后修改时间对比覆盖)来对比进行覆盖判断。FULL_OV
一致性校验 大小/最后修改时间校验:默认配置,通过对比源端和目的端对象大小+最后修改时间,判断迁移后数据是否完整。 CRC64校验:通过对比源端和目的端对象元数据中CRC64值,判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间校验策略。
基于客户自建业务系统:通过客户自建业务系统触发新增、修改对象的同步请求。 当源端对象发生新增,修改时,客户自建业务系统通过接收源端对象存储服务的消息通知或解析业务系统数据库变化来主动捕获对象信息,然后调用OMS服务的同步接口,从而完成源端同步迁移。 操作步骤 以下是源端云服务商为华为云时,通过函数工作流服务配置源端同步请求的操作步骤。
数据丢失或损坏的情况。服务还支持断点续传功能,当迁移过程中出现网络中断或其他异常情况时,服务可以从断点处恢复传输,确保数据的完整性和迁移的连续性。 父主题: 迁移工作原理
64值是否相同,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。如果源端与目的端对象元数据中不存在CRC64值,则系统会默认使用SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE(大小/最后修改时间对比覆盖)来对比进行覆盖判断。FULL_OV