检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移网络模型 对象存储迁移服务(OMS)的网络模型设计考虑了数据的传输效率、安全性和可靠性。OMS支持大文件分片、大量数据的快速迁移。同时,它还支持断点续传功能,即使在迁移过程中遇到网络中断等异常情况,也能从断点处继续传输,确保数据的完整性和迁移的连续性。 图1 网络模型图 场景一:跨Region/跨云迁移
问题描述 使用OMS服务进行跨区域迁移,例如:从中国-香港区域(非中国大陆区域)迁移至华北-北京四区域(中国大陆区域),网络速率较慢,出现严重的网络丢包问题,从而导致失败对象数较多。 解决方案 方法一:请尝试多次重试迁移任务,如仍然无法解决,请使用方法二。 方法二:使用OBS提供的跨区域
迁移方式一 请前往迁移中心MgC,并使用其提供的存储迁移工作流进行迁移。迁移中心 MgC支持多种云平台对象存储、文件存储服务的迁移,同时也支持自建网络文件服务的迁移。 迁移方式二 创建迁移任务或迁移任务组时,选择源端数据源为“HTTP/HTTPS数据源”,如图1所示。 图1 选择HTTP/HTTPS数据源
支持使用源端桶自定义域名迁移。 记录失败对象 支持记录迁移失败对象,以及重传这些失败对象。 流量控制 支持对不同时段设置最大流量带宽。 断点续传 如果出现短暂的网络中断,支持手动重启迁移任务,从中断的位置继续开始迁移任务,已迁移完成的数据无需重新迁移。 结果通知 对于耗时较长的迁移任务,您可以在创建迁
迁移速度的影响因素很多,比如迁移的对象大小、正在迁移的对象个数、网络传输情况等。在不考虑网络环境的情况下分析迁移速度慢的原因可能有下面几个方面: 大量的小对象 由于每个迁移任务的最大并发数是固定的,导致同时在迁移的对象数是有限制的。迁移前会列举对象,每个对象迁移完成后,都会对比源端
同一用户,单个Region内并发任务数最大为5。 说明: 假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。 24小时内,单个Region内最多创建迁移任务数为5000个。 迁移任务组 同一用户,单个Region内并发任务组数最大为5。 说明: 假设分别迁
查询指定ID的同步任务统计数据 功能介绍 查询指定ID同步任务的接收同步请求对象数、同步成功对象数、同步失败对象数、同步跳过对象数、同步成功对象容量统计数据(目前只支持华北-北京四、华东-上海一地区)。 调用方法 请参见如何调用API。 URI GET /v2/{project_
同一用户,单个Region内并发任务数最大为5。 说明: 假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。 24小时内,单个Region内最多创建迁移任务数为5000个。 迁移任务组 同一用户,单个Region内并发任务组数最大为5。 说明: 假设分别迁
存储系统拉取数据。同时,服务会确保数据的完整性和一致性,避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能,当迁移过程中出现网络中断或其他异常情况时,服务可以从断点处恢复传输,确保数据的完整性和迁移的连续性。 父主题: 迁移工作原理
成实名认证。 获取源端微软云的访问凭证 获取存储账户/密钥: 在 Azure 门户中单击“存储账户”,选择待迁移的存储账户。 在“安全性和网络”下,选择“访问密钥” 。 此时会显示账户访问密钥,以及每个密钥的完整连接字符串。 选择“显示”,即可显示访问密钥和连接字符串,单击复制图标即可复制密钥和字符串。
自动检查并重启失败的迁移任务 方案概述 通过API调用启动迁移任务/迁移任务组后,由于网络波动或其他原因导致迁移任务失败,需要重新启动迁移任务/迁移任务组,可以通过以下方式重新启动: 手动调用API重新启动迁移任务/迁移任务组。 在业务代码中自动检测并调用API重新启动迁移任务/迁移任务组。
_DST_OBJ_FAILURE,错误描述信息为-1-OBSClientUploadError。 问题分析 该问题可能是由于对象迁移过程中网络波动导致的迁移任务失败。 解决方案 方案一:手动重启迁移任务。 方案二:在业务代码中实现自动检查任务+重启失败任务列表。 方案三:使用函数
请求参数必须与OMS服务的API参考文档中提供的内容保持一致。 S3M.0075 过去24小时之内您创建的任务数已经达到上限。请稍后再试。 S3M.0076 您创建的处于等待中迁移任务数已达到上限。请稍后再试。 S3M.0077 用户当前创建的任务数量已经超过限制。 S3M.0078 描
归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。 默认取回时间为3天,当迁移对象数超过300 w或容量大小超过3 TB时,为避免迁移时间过长,数据再次归档后导致迁移失败,请选择迁移任务组方式迁移。 在迁移任务开始后,暂停/
通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region
同一用户,单个Region内并发任务数最大为5。 说明: 假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。 24小时内,单个Region内最多创建迁移任务数为5000个。 迁移任务组 同一用户,单个Region内并发任务组数最大为5。 说明: 假设分别迁
忽略对象数大于0 在任务详情中找到“忽略对象列表路径”,单击路径链接跳转到OBS控制台,下载相应的txt文件,查看忽略对象列表。 说明: 忽略对象列表路径说明:oms/task/任务名称/skip_object_lists/时间戳.skip_list.txt。 失败对象数大于0
对于OMS不适用的数据迁移场景(约束与限制),华为云另外提供了迁移中心MgC进行数据迁移,您可以根据具体迁移场景选择迁移方式。 表1 存储迁移工具 迁移工具 迁移网络 支持迁移的源端存储类型 支持特性 迁移中心MgC 公网/专线 华为云 OBS 阿里云 OSS 百度云 BOS 腾讯云 COS 金山云 KS3
批量激活文件并设置并发数为10 ./us3cli restore us3://bucket/test --parallel 10 以上示例中的“bucket”需要替换为实际的存储空间名。 以上示例中的“test”需要替换为实际的文件/文件夹。 --parallel用于指定批量激活并发数,默认值为10。
同一用户,单个Region内并发任务数最大为5。 说明: 假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。 24小时内,单个Region内最多创建迁移任务数为5000个。 迁移任务组 同一用户,单个Region内并发任务组数最大为5。 说明: 假设分别迁