检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? 该问题可分为以下两种情况来说明: 如何保证增量数据如何迁移过来? 参见增量迁移对象数据。 源端数据有更新,如何同步过来? 需要重新全量迁移,OMS会自动识别更新后对象进行覆盖,具体覆盖条件请参考迁移是否会影响目的端桶的已有数据。
OMS保证迁移数据一致性的校验策略是什么? 在迁移过程中,每迁移完一个对象,会对该对象进行一致性校验,如果不一致则会将该对象记录到失败对象列表中。OMS会累积记录迁移失败对象个数,可以通过任务详情查看具体的迁移数据统计。 校验策略为该对象是否同时满足以下条件,不满足则校验失败,并记录到失败对象列表中。
使用“回源配置方案”迁移增量对象数据 大批量数据迁移场景使用,优先选择此方案。此方案受OBS限制,具体的约束请见数据回源。 业务零中断,增量迁移间未同步的数据通过回源配置保证用户无感知。 可靠性高:割接前用户业务校验充分,增量迁移时全量扫描校验确保数据无遗漏。 使用“源端/目的端双写方案”方案迁移增量对象数据
S服务的数据同步接口,即时将数据同步到华为云OBS侧。 同步任务依托于源端事件触发器、函数工作流服务以及公网传输,可能存在不稳定因素,无法保证100%同步成功,因此不建议用于容灾场景。 OMS同步任务迁移流程图如图1所示。 图1 同步任务迁移流程图 操作场景 填写源端和目的端AK
个人数据加密保护:为了确保您个人数据的安全性,OMS系统通过加密存储个人数据、控制个人数据访问权限以及记录操作日志等方法,防止个人数据泄露,保证您的个人数据安全。详细介绍请参见个人数据保护机制。 父主题: 安全
迁移中心MgC 迁移中心(Migration Center,MgC)是华为云一站式迁移和现代化平台,承载华为云迁移方法论和最佳实践,该平台提供强大的应用发现能力和资源评估能力,并且通过向导式的迁移流程,帮助您轻松将应用资源迁移到华为云。 支持特性 支持专线迁移。 支持集群扩容。 支持迁移前评估。
Storage Service,OBS)中。 目前支持亚马逊云(中国)、阿里云、微软云、百度云、华为云、金山云、优刻得、青云、七牛云、腾讯云、谷歌云平台的对象存储数据迁移。 对象存储迁移服务的典型应用场景有: 对象数据搬迁:将典型Web应用搬迁到华为云上时,把用户的对象存储数据搬迁到华为云中。
利迁移到目的端取决于其新增时,迁移任务是否已完成相关位置的列举,如果已列举完成则不会迁移。 修改数据: OMS迁移大对象时,会通过分片传输保证可靠性,并在迁移完成后对比大小和修改时间。如果存在迁移中修改某个特定分片,且满足如下条件: 1. 修改后文件大小一致 ; 2. 源端对象最后修改时间早于目的端对象最后修改时间。
未经过认证、授权的实体或者个人获取,对象存储迁移服务系统通过加密存储个人数据、控制个人数据访问权限以及记录操作日志等方法防止个人数据泄露,保证您的个人数据安全。 收集范围 对象存储迁移服务收集的个人数据如表1所示: 表1 个人数据范围列表 类型 收集方式及目的 是否可以修改 是否必须
的元数据。 须知: 仅支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外,其他所有字符均不支持。 如果选择“忽略元数据迁移”,为保证迁移任务正常运行,仍将迁移Content-Type、Content-Encoding元数据。 迁移指定时间后的对象 选择是否迁移在指定时间后的对象。
”方案迁移增量对象数据。此方案优势在于可以确保业务零中断。 主要迁移步骤如下所示: 用户在全量迁移前,需配置业务同时向源端和目的端写数据,保证增量数据在两端都存在。 使用OMS完成源端数据的全量迁移。迁移过程中OMS会自动识别源端和目的端的同名对象并按条件进行覆盖,具体覆盖策略请参考迁移是否会影响目的端桶的已有数据。
源端对象存储访问频率过高导致迁移失败怎么办? 为保证较高的迁移速率,迁移任务执行过程中,对象存储迁移服务会以较高频率调用源端对象存储API。由于某些源端对象存储对访问频率进行了限制,当访问频率过高时就会导致迁移任务失败。 解决办法: 联系源端云服务提供商,修改源端对象存储对访问频率的限制值以满足迁移的要求。
的元数据。 须知: 仅支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外,其他所有字符均不支持。 如果选择“忽略元数据迁移”,为保证迁移任务正常运行,仍将迁移Content-Type、Content-Encoding元数据。 迁移指定时间后的对象 选择是否迁移在指定时间后的对象。
载链接,可选用迁移方式一或迁移方式二。 迁移方式一 请前往迁移中心MgC,并使用其提供的存储迁移工作流进行迁移。迁移中心 MgC支持多种云平台对象存储、文件存储服务的迁移,同时也支持自建网络文件服务的迁移。 迁移方式二 创建迁移任务或迁移任务组时,选择源端数据源为“HTTP/HTTPS数据源”,如图1所示。
的元数据。 须知: 仅支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外,其他所有字符均不支持。 如果选择“忽略元数据迁移”,为保证迁移任务正常运行,仍将迁移Content-Type、Content-Encoding元数据。 迁移指定时间后的对象 选择是否迁移在指定时间后的对象。
使用“回源配置方案”迁移增量对象数据 本节指导用户使用回源配置方案迁移增量对象数据。 优势 此方案优势在于: 业务零中断,增量迁移间未同步的数据通过回源配置保证用户无感知。 可靠性高,割接前可提前验证,迁移后可校验。 操作流程 “回源配置方案”迁移增量对象数据流程图,如图1所示。 图1 回源配置方案迁移增量对象流程图
创建迁移任务:通过源端和目的端的AK和SK创建迁移任务。 查询指定ID的任务详情:根据迁移任务ID查询任务详情,确定迁移任务是否创建成功。 前提条件 已获取源端云服务平台的AK/SK。 已获取目的端AK/SK,参见创建访问秘钥(AK/SK)。 已获取IAM和OMS的Endpoint,参见地区和终端节点。 已获取源端桶的区域。
迁移对源端数据是否有影响?源端数据改变对迁移结果有什么影响? 迁移完成后,如何修改已迁移对象路径? 如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? OMS保证迁移数据一致性的校验策略是什么? 迁移是否会影响目的端桶的已有数据 迁移限制 OMS将对象数据迁移到并行文件系统有哪些限制?
2023-11-07 第二十五次正式发布。 更新如何获取源端桶权限和目的端桶权限? 2023-08-15 第二十四次正式发布。 更新OMS保证迁移数据一致性的校验策略是什么? 更新迁移是否会影响目的端桶的已有数据 2023-01-16 第二十三次正式发布。 新增迁移完成,为什么迁移进度和已传输容量均显示为0?
迁移对源端数据是否有影响?源端数据改变对迁移结果有什么影响? 迁移完成后,如何修改已迁移对象路径? 如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? 如何获取源端桶权限和目的端桶权限? 如何查看迁移任务中迁移了哪些对象? 如何查看迁移任务组中迁移了哪些对象? 如何查看同步任务中迁移了哪些对象?