检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节指导用户通过API创建迁移任务。API的调用方法请参见如何调用API。 创建迁移任务时,支持的任务类型有:URL列表迁移、对象前缀迁移、对象列表迁移、文件/文件夹迁移。本节我们以创建文件/文件夹迁移任务为例,介绍如何创建迁移任务。 涉及接口 获取IAM用户Token(使用密码):用于鉴权认证。 创建迁移任务:通
S3、微软 Blob、NAS_SMB、NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL、HTTP/HTTPS数据源迁移。 逻辑架构图 图1 存储迁移逻辑架构图 迁移流程实施 准备工作 创建目的端对象桶或者弹性文件系统。 评估集群 根据源端文件数量,自行评估集群大小及规格,将用于工作流中新建集群。
源端云服务商不在OMS支持范围,该如何迁移? 若需要迁移的是NAS文件系统,请选用迁移方式一。 若源端对象可以通过HTTP或HTTPS公开访问,且用户能够自行列举出所有待迁移对象名称和对应的下载链接,可选用迁移方式一或迁移方式二。 迁移方式一 请前往迁移中心MgC,并使用其提供的存储迁移工作流进行迁移。迁移中心
七牛云对象存储Kodo,可通过控制台解冻归档文件,也可通过调用Object接口解冻归档文件。 操作步骤 登录 Kodo 控制台进入空间管理界面。 在空间列表中,单击目标空间操作列的文件,快速链接至文件管理界面。 文件管理界面下方显示了当前空间的文件/文件夹列表。 在文件列表中,找到您需要解冻的归档存储文件,单击操作列的更多>解冻。
选择存放URL列表文件的OBS桶。 请确保URL列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。 在“选择URL列表文件”参数后面,单击“选择”按钮,弹出“选择URL列表文件”窗口,选择URL列表文件,单击“确定”。 请确保URL列表文件中的URL可通过HEAD和GET请求正常访问。
如何迁移根目录下的数据? 有两种方式可选择并迁移根目录下的数据: 文件/文件夹方式 在创建任务时,迁移方式选择“选择文件/文件夹”。 单击“选择”,在弹窗中勾选自己需要迁移的数据(默认展示根目录下的数据)并确认选择。 配置需要的高级参数并创建任务,即可迁移已选择的根目录数据。 对象前缀方式
华为云并行文件系统迁移教程 并行文件系统(Parallel File System)是对象存储提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS。 作为对象存储的子产品,并行文件系统的迁移方法与对象存储迁移方法一致。 创建迁移任务可参见创建迁移任务。
添加对象前缀时,如果对象文件在桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:桶名/文件夹/对象前缀。 若不添加该参数,则默认迁移全桶的数据。 待迁移的对象会被记录在txt类型的列表文件中(每个迁移任务对应一个列表文件),并存放在
迁移并行文件系统内的对象数据有哪些限制? 当待迁移对象所属文件层级过深时,建议通过创建迁移任务组进行迁移。如果通过创建迁移任务进行迁移,可能出现列举对象超时,导致列举中断。 父主题: 迁移限制
百度云 BOS 腾讯云 COS 金山云 KS3 七牛云 KODO 优刻得 US3 亚马逊 S3 微软 Blob NAS_SMB NAS_NFS_V3_MOUNT NAS_NFS_V3_PROTOCOL HTTP/HTTPS数据源 支持专线迁移 支持集群扩容 支持迁移前评估 支持批量桶迁移
获取失败对象列表方法:单击迁移失败任务名称,右侧弹出任务详情,单击“失败对象列表路径”链接,如图3所示,进入OBS服务下载失败对象列表.txt文件。 图3 失败对象列表路径 问题原因: 迁移前OMS服务校验源端对象与CDN对象不一致(主要指对象大小和最后修改时间)。 常见原因:源端对
迁移过程中,会生成迁移记录如成功对象、失败对象、忽略对象等列表文件,存放在您的目的桶中。 获取对象列表的方法请参见下表。 如果... 那么... 已迁移对象数大于0 在任务详情中找到“成功对象列表路径”,单击路径链接跳转到OBS控制台,下载相应的txt文件,查看成功对象列表。 说明: 成功对象列表路
OMS如何迁移指定文件后缀的文件? OMS不支持迁移指定文件后缀的文件。 OMS支持指定对象前缀的文件,具体请参见创建迁移任务和创建迁移任务组。 父主题: 产品咨询
OMS将对象数据迁移到并行文件系统有哪些限制? OMS将对象数据迁移到并行文件系统有以下限制(并行文件系统限制): 若对象名以/结尾,则对象大小必须为0,否则不支持迁移。 对象名中不能出现连续/,例如:test//test。 在同一层级中,文件和文件夹的名称不能相同。 父主题: 迁移限制
迁移并行文件系统对象时,一致性校验失败如何处理? 问题描述 迁移并行文件系统对象时,源端对象最后修改时间晚于目的端对象,导致一致性校验失败,重试迁移依然校验失败,并且目的端对象最后修改时间一直保持不变。 问题分析 出现该问题可能是因为并行系统存在元数据mtime(可以设置最后修改
OMS如何迁移指定时间的文件? OMS支持迁移指定修改时间后的对象,您可以在创建迁移任务/迁移任务组时,设置迁移指定时间后的对象,使用时间过滤源端待迁移对象。 选择“否”,不过滤源端待迁移对象。 选择“是”,设置迁移指定时间后,OMS服务仅迁移在指定时间之后修改的源端待迁移对象。
访问时延低和吞吐量高,因而适用于有大量热点文件(平均一个月多次)或小文件(小于1MB),且需要频繁访问数据的业务场景,例如:大数据、移动应用、热点视频、社交图片等场景。 低频访问存储 适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景,例如:文件同步/共享、企业备份等场景。
对象存在且具有访问权限”。 问题分析 出现该问题可能是因为对象文件不在源端桶的根目录下,存在目录路径。 解决方案 当对象文件存在目录路径,添加对象前缀时,需要在对象前缀前添加对象文件所在的目录路径。格式为:桶名/文件夹/对象前缀。 父主题: 异常恢复
迁移完成后,在目的端桶查看迁移后的文件,如图10所示。 图10 迁移后文件 文件增加前缀目录 在“源端配置选项”区域,选择迁移方式为“选择文件/文件夹”,如图11所示。 图11 选择迁移方式 单击“选择”按钮,弹出“选择文件/文件夹”窗口,如图12所示。勾选待迁移的文件(单个或多个文件),单击“确定”按钮。
并发执行同步中的任务数量最多为5个。 对象列表文件 对象列表文件大小不能超过1024MB。 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称,并且对象名称使用URL