检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? 该问题可分为以下两种情况来说明: 如何保证增量数据如何迁移过来? 参见增量迁移对象数据。 源端数据有更新,如何同步过来? 需要重新全量迁移,OMS会自动识别更新后对象进行覆盖,具体覆盖条件请参考迁移是否会影响目的端桶的已有数据。
MgC支持多种云平台对象存储、文件存储服务的迁移,同时也支持自建网络文件服务的迁移。 迁移方式二 创建迁移任务或迁移任务组时,选择源端数据源为“HTTP/HTTPS数据源”,如图1所示。 图1 选择HTTP/HTTPS数据源 选择创建“迁移任务”还是“迁移任务组”,可参见迁移任务与迁移任务组的适用场景是什么?。
出现该问题,可能是用户在源端启用了CDN的性能优化功能,如Gzip压缩功能。OMS从源端获取对象元数据的content-length作为该对象预期迁移的大小,实际上传时读到的是压缩后的对象大小,实际大小<预期大小,okHttp3传输数据时判定为流异常中断,导致迁移失败。 解决方法: 方法一:在源端云服务商的CDN
Service,OBS)中,也可以在对象存储 OBS 之间进行灵活的数据迁移。 使用华为云对象存储迁移服务,您只需在控制台填写源端数据地址和目的端 OBS 地址信息,并创建迁移任务或创建迁移任务组即可(迁移任务与迁移任务组的区别参见迁移任务与迁移任务组的适用场景是什么?)。启动迁移后,您可以通过控制台查看迁移任务、管理迁移任务。
如何从一个区域迁移OBS桶数据到另一区域? 当您因业务需要,需要从一个区域迁移OBS桶数据到另一个区域,如从华南-广州迁移到华北-北京一。创建迁移任务时,源端桶选择华南-广州的桶,目的端桶选择华北-北京一。具体操作请参见创建单个迁移任务。 当前目的端桶和对象存储迁移服务应在同一区域。 父主题: 产品咨询
数据识别与准备 在迁移开始前,华为云OMS服务会先对源端存储系统中的数据进行识别,包括对象大小、最后修改时间以及位置等关键信息。基于这些信息,服务会为用户生成一个对应的迁移任务配置,确保迁移过程的高效性和准确性。 父主题: 迁移工作原理
按条件过滤源端对象:支持迁移指定时间后的源端对象。 多任务创建 对于大容量、大规模的对象迁移,对象存储迁移服务提供了创建迁移任务组功能,能够自动划分并创建迁移任务,最大化利用服务的并发性能。 支持以组的方式对迁移任务进行管理。 高效传输 并行迁移 支持多对象并行迁移。 解冻归档数据 对于归档类型的对象存储,支持自动解冻该对象后进行迁移。
生技术的核心 GO语言深入之道 介绍几个Go语言及相关开源框架的插件机制 跟唐老师学习云网络 唐老师将自己对网络的理解分享给大家 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自容器服务的技术牛人,为您解决技术难题。
数据保护技术 OMS通过以下方式,保障数据迁移的安全性和完整性。 完整性校验:数据迁移完成后,默认通过对象大小/最后修改时间完成数据的完整性校验。详细介绍请参见一致性校验策略。 个人数据加密保护:为了确保您个人数据的安全性,OMS系统通过加密存储个人数据、控制个人数据访问权限以及
迁移是否会影响目的端桶的已有数据 对象存储迁移对目的端桶已有数据的影响,主要看目的端桶与源端桶是否有同名对象。 不存在同名对象,OMS迁移服务对目的桶已有数据无影响。 迁移过程中,不会修改目的端桶的已有数据。 迁移完成后,不会删除目的端桶的已有数据。 存在同名对象,会根据创建任务
数据安全与完整性保障 数据安全与完整性保障详细参考数据保护技术。 父主题: 迁移工作原理
加权限。 如果源端为其他云服务商,请参见各云服务商迁移教程中的准备工作创建AK/SK并添加权限。 目的端:请参见创建访问密钥(AK/SK)和目的端桶权限获取创建AK/SK并添加权限。 创建目的端桶 创建用于存放迁移数据的桶,具体操作参见创建桶。 解冻源端归档数据 当源端对象存储有
Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用OMS。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将OMS委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询服务的终端节点。 对象存储迁移服务的终端节点如下表所示,请您根据业务需要选择对应区域的终端节点。 表1 对象存储迁移服务的终端节点 区域名称 区域 终端节点 华北-北京一
Service,OMS)常见应用场景的操作实践,每个实践我们提供详细的方案描述和操作指导,用于指导您快速实现对象存储数据迁移。 表1 OMS最佳实践一览表 最佳实践 使用场景 优势 使用“回源配置方案”迁移增量对象数据 大批量数据迁移场景使用,优先选择此方案。此方案受OBS限制,具体的约束请见数据回源。
迁移任务与迁移任务组的适用场景是什么? 迁移任务 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。创建方式参见创建迁移任务。 迁移任务组 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移
如何迁移根目录下的数据? 有两种方式可选择并迁移根目录下的数据: 文件/文件夹方式 在创建任务时,迁移方式选择“选择文件/文件夹”。 单击“选择”,在弹窗中勾选自己需要迁移的数据(默认展示根目录下的数据)并确认选择。 配置需要的高级参数并创建任务,即可迁移已选择的根目录数据。 对象前缀方式
创建迁移任务 本节介绍创建迁移任务的操作步骤。 OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。
选择华为云。 访问密钥 填写源端华为云的访问密钥(AK)。 私有访问密钥 填写源端华为云的私有访问密钥(SK)。 是否指定桶名 关闭“是否指定桶名”(默认设置)。 单击“桶名”后的“列举源端桶”,在“桶名”中列举您名下的所有桶。 在“桶名”的下拉列表中选择需要迁移的桶。 说明: 当源端AK/
概述 对于OMS不适用的数据迁移场景(约束与限制),华为云另外提供了迁移中心MgC进行数据迁移,您可以根据具体迁移场景选择迁移方式。 表1 存储迁移工具 迁移工具 迁移网络 支持迁移的源端存储类型 支持特性 迁移中心MgC 公网/专线 华为云 OBS 阿里云 OSS 百度云 BOS