检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不会导入其它附加元数据(如uid、gid、mode)。 数据导出功能会将您在联动目录里创建的文件,以及对从OBS导入后又做过修改的文件导出存储到OBS桶里。 src_target 是 String 联动目录名称 src_prefix 否 String 导入导出任务的源端路径前缀,
server error" } 状态码 状态码 描述 202 成功 400 错误响应 500 错误响应 错误码 请参见错误码。 父主题: 存储联动管理
server error" } 状态码 状态码 描述 200 成功 400 错误响应 500 错误响应 错误码 请参见错误码。 父主题: 存储联动管理
管理SFS Turbo文件系统与OBS桶的存储联动 概述 AI训练和推理、高性能数据预处理、EDA、渲染、仿真等场景下,您可以通过SFS Turbo文件系统来加速OBS对象存储中的数据访问。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象。您可以指定SFS Turb
server error" } 状态码 状态码 描述 200 成功 400 错误响应 500 错误响应 错误码 请参见错误码。 父主题: 存储联动管理
如何将SFS Turbo部署至CCE? 请根据实际的业务情况,阅读存储管理-CSI-存储概述或存储管理-Flexvolume-极速文件存储卷,并在CCE界面完成部署操作。 父主题: SFS Turbo迁移类问题
支持选择以下类型: 标准型 标准型-增强版 性能型 性能型-增强版 20MB/s/TiB 40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB HPC缓存型 说明: 创建成功后不支持更换存储类型,如需更换只能新创建另一存储类型的文
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
工单申请扩大配额。 子网IP不足 如果子网IP资源不足,可以更换子网或者释放当前文件系统使用的子网下其他的IP地址。 后台资源不足 计算&存储资源等后台资源达到上限,请提交工单进行技术咨询。 提交工单 如果上述方法均不能解决您的疑问,请提交工单寻求更多帮助。
Turbo和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 高性能弹性文件服务SFS Turbo是华为云提供的按需扩展的高性能文件存储(NAS)
配置hpc缓存型后端信息 功能介绍 配置hpc缓存型后端信息 接口约束 该接口仅适用于HPC缓存型文件系统 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
不同区域访问: 云连接 迁移数据分为两种网络条件,通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移数据至SFS Turbo(rclone工具) 通过云专线迁移数据至SFS Turbo(rsync工具)
20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB、标准型、标准型-增强版、性能型、性能型-增强版 存储空间 计费周期 包年/包月SFS Turbo资源的计费周期是根据您购买的时长来确定的(以UTC+8时间为准)。一个计
轻松完成您的容量定制。 高性能、高可靠性 性能随容量增加而提升,同时保障数据的高持久度,满足业务增长需求。 存储底层包含HDD和SSD两种存储介质;存储系统采用分布式存储架构,全模块架构冗余设计,无单一故障点。 无缝集成 高性能弹性文件服务同时支持NFS和SMB协议。通过标准协议
文件系统类型,有效值为STANDARD或者PERFORMANCE。当文件系统正在创建时,该字段不返回。 SFS Turbo上一代文件系统规格类型:标准型和标准型增强版填写STANDARD,性能型和性能型增强版填写PERFORMANCE。 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB
支持 400 SFS.TURBO.0034 dedicated storage resource not enough 专属存储池资源不足 请扩充专属存储池资源 400 SFS.TURBO.0035 The current type does not support backup
剩余配额是否充足,是否跨配额目录创建硬链接、rename操作。 为什么会出现实际目录使用空间超出配额的情况? 限制型配额的生效和失效都有延迟(正常情况下延迟时间约为1分钟)。当文件使用量超过限制时,限制型配额延迟生效,从而出现上述情况。 父主题: SFS Turbo文件系统管理