检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? 该问题可分为以下两种情况来说明: 如何保证增量数据如何迁移过来? 参见增量迁移对象数据。 源端数据有更新,如何同步过来? 需要重新全量迁移,OMS会自动识别更新后对象进行覆盖,具体覆盖条件请参考迁移是否会影响目的端桶的已有数据。
OMS保证迁移数据一致性的校验策略是什么? 在迁移过程中,每迁移完一个对象,会对该对象进行一致性校验,如果不一致则会将该对象记录到失败对象列表中。OMS会累积记录迁移失败对象个数,可以通过任务详情查看具体的迁移数据统计。 校验策略为该对象是否同时满足以下条件,不满足则校验失败,并记录到失败对象列表中。
迁移并行文件系统对象时,一致性校验失败如何处理? 问题描述 迁移并行文件系统对象时,源端对象最后修改时间晚于目的端对象,导致一致性校验失败,重试迁移依然校验失败,并且目的端对象最后修改时间一直保持不变。 问题分析 出现该问题可能是因为并行系统存在元数据mtime(可以设置最后修改
OMS通过以下方式,保障数据迁移的安全性和完整性。 完整性校验:数据迁移完成后,默认通过对象大小/最后修改时间完成数据的完整性校验。详细介绍请参见一致性校验策略。 个人数据加密保护:为了确保您个人数据的安全性,OMS系统通过加密存储个人数据、控制个人数据访问权限以及记录操作日志等方法,防止
迁移完成后,为什么目的端桶对象个数/大小与源端桶对象个数/大小不一致? 源端对象个数/大小>目的端对象个数/大小 源端对象个数>目的端对象个数 可能原因:源端有增量对象或源端扫描有问题。 判断方法:再次创建OMS迁移任务进行增量迁移,查看源端桶扫描对象数与上次迁移时OMS统计的源
OMS根据源端厂商对象存储服务和华为云对象存储服务接口及协议,进行认证和一致性校验,涉及MD5、SHA1、CRC64以及基于MD5的HMAC算法的使用,存在因源端发生hash碰撞,导致要迁移的数据和实际迁移的数据不一致的风险,为确保数据一致性,可以在迁移后再次对源端、目的端数据进行完整的内容校验。
方法一:在源端云服务商的CDN控制台,关闭CDN的性能优化功能,如Gzip压缩、页面优化等功能,然后重新迁移。 方法二:使用URL列表方式迁移,并在高级选项中设置一致性校验方式为不校验。 父主题: 异常恢复
Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只
用户在界面输入,用于鉴权认证 否 是 目的端SK(Secret Key) 用户在界面输入,用于鉴权认证 否 是 存储方式 对象存储迁移服务通过加密算法对以下用户个人敏感数据进行加密存储: 源端AK/SK 源端CDN密钥 目的端AK/SK 访问权限控制 用户个人数据通过加密后存储在对象存储
创建迁移任务时提示“您选择的目的端桶所在区域与控制台Region不一致,请选择所在区域为xxx的桶或切换控制台Region为xxx”该如何处理? 为了最大限度提升迁移速度,创建迁移任务的区域要与目的端桶所在区域保持一致。 解决方案:重新选择下图①的区域,使图中①、②区域一致。 父主题:
迁移对源端数据是否有影响?源端数据改变对迁移结果有什么影响? 迁移完成后,如何修改已迁移对象路径? 如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? OMS保证迁移数据一致性的校验策略是什么? 迁移是否会影响目的端桶的已有数据 迁移限制 OMS将对象数据迁移到并行文件系统有哪些限制? 源端云服务商不在OMS支持范围,该如何迁移?
数据迁移 根据迁移配置,华为云OMS服务会开始从源端存储系统拉取数据。同时,服务会确保数据的完整性和一致性,避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能,当迁移过程中出现网络中断或其他异常情况时,服务可以从断点处恢复传输,确保数据的完整性和迁移的连续性。 父主题:
如何解决KMS状态错误导致的迁移任务失败? OMS在对象上传到OBS后,会对比该对象的加密状态与任务是否开启KMS加密的状态是否一致,如果不一致则判定该对象迁移失败。如果迁移失败,在失败对象列表中发现失败原因是KMS状态错误,请通过以下步骤重启失败的迁移任务。 确认目的端桶的基础
迁移阿里云数据时,对象名称中包含“/”的对象均迁移失败,其余对象迁移成功 输入对象前缀时,提示“无法访问对象,请检查并确保:对象存在且具有访问权限” 迁移并行文件系统对象时,一致性校验失败如何处理? 无法下载桶对象,OMS也无法迁移 迁移任务失败,传输中断问题该怎么解决?
华为云并行文件系统迁移教程 并行文件系统(Parallel File System)是对象存储提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS。 作为对象存储的子产品,并行文件系统的迁移方法与对象存储迁移方法一致。 创建迁移任务可参见创建迁移任务。
新增迁移并行文件系统内的对象数据有哪些限制? 新增迁移并行文件系统对象时,一致性校验失败如何处理? 新增存储类型介绍。 2023-11-07 第二十五次正式发布。 更新如何获取源端桶权限和目的端桶权限? 2023-08-15 第二十四次正式发布。 更新OMS保证迁移数据一致性的校验策略是什么? 更新迁移是否会影响目的端桶的已有数据
客户业务系统开始将新增数据存储到华为云,源端对象存储不会再有新增数据。 ⑥增量迁移:将T2~T3时间段生成的新增数据迁移到华为云。 ⑦一致性验证:对比源端、目的端桶的对象总数和总大小,确保源端数据全部迁移完成。 迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接
迁移对源端数据是否有影响?源端数据改变对迁移结果有什么影响? 迁移完成后,如何修改已迁移对象路径? 如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? 如何获取源端桶权限和目的端桶权限? 如何查看迁移任务中迁移了哪些对象? 如何查看迁移任务组中迁移了哪些对象? 如何查看同步任务中迁移了哪些对象?
目前仅支持华为云、阿里云、腾讯云。 需满足源端、目的端对象的加密状态一致。 全覆盖:对于源端和目的端存在的同名对象,源端对象直接覆盖目的端对象。 一致性校验 大小/最后修改时间校验:默认配置,通过对比源端和目的端对象大小+最后修改时间,判断迁移后数据是否完整。 CRC64校验:通过对比源端
OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据。 通过元数据校验数据的完整性和一致性。 重复步骤3~16,完成步骤1中获取的全部对象迁移工作。 重复步骤1~17,完成迁移任务中的全部对象迁移工作。 父主题: 迁移工作原理