检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置方式 基于源端云服务商的对象存储服务和函数工作流服务,通过配置源端云服务商的对象存储服务和函数工作流服务来触发新增、修改对象的同步请求。 操作步骤 登录阿里云函数计算控制台,在左侧导航栏,单击函数。 在顶部菜单栏,选择地域,然后在函数页面,单击创建函数。 创建的函数需要与源端桶在同一区域。
如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? OMS保证迁移数据一致性的校验策略是什么? 迁移是否会影响目的端桶的已有数据 迁移限制 OMS将对象数据迁移到并行文件系统有哪些限制? 源端云服务商不在OMS支持范围,该如何迁移? 迁移时长 我如何能知道迁移任务的速度? 问题处理
根据迁移配置,华为云OMS服务会开始从源端存储系统拉取数据。同时,服务会确保数据的完整性和一致性,避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能,当迁移过程中出现网络中断或其他异常情况时,服务可以从断点处恢复传输,确保数据的完整性和迁移的连续性。 父主题: 迁移工作原理
迁移完成后若需要修改已迁移对象路径,请根据所修改的对象规模采用以下步骤: 对象较少 可以通过华为云对象存储服务提供的客户端工具OBS Browser+来移动迁移的数据。 请参见下载OBS Browser+获取工具。 登录工具,选中要移动的数据(单个或多个目录或文件),单击“移动”。 进入存储数据的桶,单击“粘贴”
和一致性校验,涉及MD5、SHA1、CRC64以及基于MD5的HMAC算法的使用,存在因源端发生hash碰撞,导致要迁移的数据和实际迁移的数据不一致的风险,为确保数据一致性,可以在迁移后再次对源端、目的端数据进行完整的内容校验。 父主题: 安全
移任务时,在“源端配置选项”区域,元数据迁移方式选择了“保留元数据”。增量迁移时,如果源端对象仅元数据信息发生变化,对象的内容、大小并没有改变,则仅迁移改变的元数据信息,不会迁移对象内容。因此,迁移完成后,出现迁移进度显示为0%,已传输容量为0,属于正常情况。 父主题: 产品咨询
青云 百度云 金山云 优刻得 HTTP/HTTPS数据源 支持的功能 功能 说明 创建迁移任务 创建对象存储任务,对您的对象数据实施迁移。 查看迁移任务 创建迁移任务后,您可以随时查看迁移的进度以及详情,以确定任务的执行状态是否正常。 管理迁移任务 创建迁移任务后,您可以对迁移任务执行暂停/恢复、重启、删除等操作。
源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据。 通过元数据校验数据的完整性和一致性。 重复步骤3~16,完成步骤1中获取的全部对象迁移工作。 重复步骤1~17,完成迁移任务中的全部对象迁移工作。 父主题: 迁移工作原理
概述 对于OMS不适用的数据迁移场景(约束与限制),华为云另外提供了迁移中心MgC进行数据迁移,您可以根据具体迁移场景选择迁移方式。 表1 存储迁移工具 迁移工具 迁移网络 支持迁移的源端存储类型 支持特性 迁移中心MgC 公网/专线 华为云 OBS 阿里云 OSS 百度云 BOS
统计本月截止目前接收到的来自源端发送的同步请求对象数量。 同步对象数(本月) 成功 统计本月截止目前同步成功的对象,可通过对象列表在目的桶中查看同步成功对象列表。 失败 统计本月截止目前同步失败的对象,可通过对象列表在目的桶中查看同步失败对象列表。 忽略 统计本月截止目前同步忽略的对象,可通过对象列表在目的桶中查看忽略对象列表。
使用OMS完成源端数据的全量迁移。 多次增量迁移数据,减少源端和目的端数据差异。 多次增量迁移后,确认一个能够接受的增量迁移时间窗,停止源端业务,启动最后一次增量迁移,迁移完成后启动目的端写业务。 迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产生的费用都遵从源端云服务提供商的计费规则并由其向您收取。
概述 对象存储迁移服务(OMS)的原理主要基于数据复制、同步和传输技术的综合运用,旨在帮助用户高效、安全地将其他云服务商对象存储服务中的数据在线迁移至华为云OBS。 父主题: 迁移工作原理
使用OMS完成源端数据的全量迁移。迁移过程中OMS会自动识别源端和目的端的同名对象并按条件进行覆盖,具体覆盖策略请参考迁移是否会影响目的端桶的已有数据。 OMS全量迁移结束后+业务验证OK后将业务切换到华为云并停止业务向源端写数据。 迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储
OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。 在迁移过程中,系统将自动在目的端桶创建一个名为“OMS”的临时文件夹
迁移网络模型 对象存储迁移服务(OMS)的网络模型设计考虑了数据的传输效率、安全性和可靠性。OMS支持大文件分片、大量数据的快速迁移。同时,它还支持断点续传功能,即使在迁移过程中遇到网络中断等异常情况,也能从断点处继续传输,确保数据的完整性和迁移的连续性。 图1 网络模型图 场景一:跨Region/跨云迁移
迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产生的费用都遵从源端云服务提供商的计费规则并由其向您收取。 前提条件 已注册华为账号并开通华为云,完成实名认证。 已获取源端和目的端账号的AK/SK。 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取
百度云 金山云 优刻得 HTTP/HTTPS数据源 支持的功能 功能 说明 创建迁移任务组 将一个迁移任务智能拆分为多个迁移任务,并以组的方式进行管理。 查看迁移任务组 创建迁移任务组后,您可以随时查看迁移的进度以及详情,以确定任务组的执行状态是否正常。 管理迁移任务组 创建迁移任务组
迁移任务与迁移任务组的适用场景是什么? 迁移任务 适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。创建方式参见创建迁移任务。 迁移任务组 适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询服务的终端节点。 对象存储迁移服务的终端节点如下表所示,请您根据业务需要选择对应区域的终端节点。 表1 对象存储迁移服务的终端节点 区域名称 区域 终端节点 华北-北京一
期将对应数据的存储类型改为“归档存储”。 前提条件 已注册华为账号并开通华为云,完成实名认证。 已获取源端和目的端账号的AK/SK。 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。获取方式参见源端桶权限获取。 目的端桶需要的权限包括:列