检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文介绍了对象存储迁移服务(OMS)提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 表1提供了OMS服务支持的SDK列表,您可以在GitHub仓库查
OMS根据源端厂商对象存储服务和华为云对象存储服务接口及协议,进行认证和一致性校验,涉及MD5、SHA1、CRC64以及基于MD5的HMAC算法的使用,存在因源端发生hash碰撞,导致要迁移的数据和实际迁移的数据不一致的风险,为确保数据一致性,可以在迁移后再次对源端、目的端数据进行完整的内容校验。 父主题:
根据迁移配置,华为云OMS服务会开始从源端存储系统拉取数据。同时,服务会确保数据的完整性和一致性,避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能,当迁移过程中出现网络中断或其他异常情况时,服务可以从断点处恢复传输,确保数据的完整性和迁移的连续性。 父主题: 迁移工作原理
迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产生的费用都遵从源端云服务提供商的计费规则并由其向您收取。 前提条件 已注册华为账号并开通华为云,完成实名认证。 已获取源端和目的端账号的AK/SK。 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取
迁移网络模型 对象存储迁移服务(OMS)的网络模型设计考虑了数据的传输效率、安全性和可靠性。OMS支持大文件分片、大量数据的快速迁移。同时,它还支持断点续传功能,即使在迁移过程中遇到网络中断等异常情况,也能从断点处继续传输,确保数据的完整性和迁移的连续性。 图1 网络模型图 场景一:跨Region/跨云迁移
概述 对象存储迁移服务(OMS)的原理主要基于数据复制、同步和传输技术的综合运用,旨在帮助用户高效、安全地将其他云服务商对象存储服务中的数据在线迁移至华为云OBS。 父主题: 迁移工作原理
ID、项目ID和账号ID。 我们收集您的上述信息,将用于为您提供对象存储迁移服务。对于您的源端云厂商AK和SK、CDN鉴权密钥、目的端华为云AK和SK,系统将于完成您的迁移服务后自动删除上述信息。对于您的华为云用户ID、项目ID和账号ID,将保存至您注销华为云账号时。 我们将会为
使用OMS完成源端数据的全量迁移。 多次增量迁移数据,减少源端和目的端数据差异。 多次增量迁移后,确认一个能够接受的增量迁移时间窗,停止源端业务,启动最后一次增量迁移,迁移完成后启动目的端写业务。 迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产生的费用都遵从源端云服务提供商的计费规则并由其向您收取。
数据识别与准备 在迁移开始前,华为云OMS服务会先对源端存储系统中的数据进行识别,包括对象大小、最后修改时间以及位置等关键信息。基于这些信息,服务会为用户生成一个对应的迁移任务配置,确保迁移过程的高效性和准确性。 父主题: 迁移工作原理
--parallel 10 以上示例中的“bucket”需要替换为实际的存储空间名。 以上示例中的“test”需要替换为实际的文件/文件夹。 --parallel用于指定批量激活并发数,默认值为10。 更多详情,请参见优刻得对象存储US3CLI命令行工具中的restore相关内容。 解冻
存储类型介绍 各云厂商的对象存储服务针对用户业务对存储性能、成本的不同诉求,将对象的存储级别进行了区分,区分的普遍依据是对象的访问频度、访问时延、最低存储时间、最低存储单元、数据可靠性、数据可用性等。根据以上依据,华为云OBS提供了以下四种存储类型: 标准存储 访问时延低和吞吐量高,因而
称写入URL列表文件,并将生成的URL列表文件存放在与目的端桶处于同一区域的OBS桶中。 创建迁移任务组:将待迁移的文件URL和目的端对象名称写入URL列表文件,并将生成的URL列表文件存放在与目的端桶处于同一区域的OBS桶指定目录(文件夹)下。指定目录(文件夹)只能存放URL列表文件。
个人数据保护机制 为了确保您的个人数据(源端AK、源端SK、源端CDN密钥、目的端AK、目的端SK)不被未经过认证、授权的实体或者个人获取,对象存储迁移服务系统通过加密存储个人数据、控制个人数据访问权限以及记录操作日志等方法防止个人数据泄露,保证您的个人数据安全。 收集范围 对象存储迁移服务收集的个人数据如表1所示:
务不收取任何费用。免费期结束后,OMS服务将根据您使用的迁移流量进行收费,计费方式简单灵活、易于预测。具体费用详情,请参见产品价格详情。 迁移过程中会调用源端和目的端的对象存储服务的API进行数据的上传、下载,所以会产生一定的API请求及下载流量费用,具体费用说明请参见API请求次数与下载与上传流量费用。
如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? OMS保证迁移数据一致性的校验策略是什么? 迁移是否会影响目的端桶的已有数据 迁移限制 OMS将对象数据迁移到并行文件系统有哪些限制? 源端云服务商不在OMS支持范围,该如何迁移? 迁移时长 我如何能知道迁移任务的速度? 问题处理
迁移完成后若需要修改已迁移对象路径,请根据所修改的对象规模采用以下步骤: 对象较少 可以通过华为云对象存储服务提供的客户端工具OBS Browser+来移动迁移的数据。 请参见下载OBS Browser+获取工具。 登录工具,选中要移动的数据(单个或多个目录或文件),单击“移动”。 进入存储数据的桶,单击“粘贴”
元数据信息发生变化,对象的内容、大小并没有改变,则仅迁移改变的元数据信息,不会迁移对象内容。因此,迁移完成后,出现迁移进度显示为0%,已传输容量为0,属于正常情况。 父主题: 产品咨询
统计本月截止目前接收到的来自源端发送的同步请求对象数量。 同步对象数(本月) 成功 统计本月截止目前同步成功的对象,可通过对象列表在目的桶中查看同步成功对象列表。 失败 统计本月截止目前同步失败的对象,可通过对象列表在目的桶中查看同步失败对象列表。 忽略 统计本月截止目前同步忽略的对象,可通过对象列表在目的桶中查看忽略对象列表。
流程如图1所示。 图1 对象存储迁移流程 具体说明: 创建源端和目的端的访问密钥(AK/SK)。 源端:参见源端云服务提供商的相关资料。 目的端:参见创建访问密钥(AK/SK)。 在对象存储服务中创建用于存放迁移数据的桶。 参见创建桶。 在对象存储迁移服务中创建迁移任务,开始迁移。
青云 百度云 金山云 优刻得 HTTP/HTTPS数据源 支持的功能 功能 说明 创建迁移任务 创建对象存储任务,对您的对象数据实施迁移。 查看迁移任务 创建迁移任务后,您可以随时查看迁移的进度以及详情,以确定任务的执行状态是否正常。 管理迁移任务 创建迁移任务后,您可以对迁移任务执行暂停/恢复、重启、删除等操作。