检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置ModelArts和SFS Turbo间网络直通。 创建委托授权ModelArts云服务使用SFS Turbo。 配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
400 错误响应 { "errCode" : "SFS.TURBO.0001", "errMsg" : "parameter error" } 状态码: 500 错误响应 { "errCode" : "SFS.TURBO.0005", "errMsg" : "Internal
错误响应 { "errCode" : "SFS.TURBO.0102", "errMsg" : "Path is not directory" } 状态码: 500 错误响应 { "errCode" : "SFS.TURBO.0005", "errMsg" : "Internal
SFS容量型资源包和SFS Turbo资源包是否通用? 不通用。 SFS容量型文件系统的资源包可以通过“购买SFS容量型资源包”来单独购买资源包。资源包不支持跨区域使用,购买前请仔细核对区域。 SFS Turbo类型的文件系统,除了在创建文件系统时购买资源包,还可以将按需计费的文
训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出,无需部署外部数据拷贝机器及工具。 4 冷热数据自动流动,降低存储成本 SFS Turbo支持自定义
提升Linux操作系统单客户端访问SFS Turbo的性能 操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。 当客户端与服务端之间网络延迟较高
目录已使用的容量大小,单位:MB。仅SFSTurbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB返回该字段 used_inode Integer 目录的已使用的inode数量。仅SFSTurbo 20MB/s
key为要匹配的字段,仅支持取值“resource_name”。value为匹配的值,当value以“*”结尾时,为前缀搜索。例如:value值为“sfsturbo*”时,返回名称为“sfsturbo”开头的所有资源列表。 表4 Tag 参数 是否必选 参数类型 描述 key 是 String 标签的键。 最大长度128个字符。
FS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
SFS容量型资源包和SFS Turbo资源包是否通用? 不通用。 SFS容量型文件系统的资源包可以通过“购买SFS容量型资源包”来单独购买资源包。资源包不支持跨区域使用,购买前请仔细核对区域。 SFS Turbo类型的文件系统,除了在创建文件系统时购买资源包,还可以将按需计费的文
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
字符"-"和"_"。 表6 ShareInfoFeatures 参数 参数类型 描述 backup ShareInfoFeature object SFS Turbo文件系统是否支持备份。 表7 ShareInfoFeature 参数 参数类型 描述 is_support Boolean
" } } 响应示例 状态码: 202 SFS Turbo文件系统ID。 { "id" : "67d4bd5e-7b2f-4c24-9a0b-c0038940c6f8" } 状态码 状态码 描述 202 SFS Turbo文件系统ID。 错误码 请参见错误码。 父主题: 连接管理
400 错误响应 { "errCode" : "SFS.TURBO.0001", "errMsg" : "parameter error" } 状态码: 500 错误响应 { "errCode" : "SFS.TURBO.0005", "errMsg" : "Internal
21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。 SFS Turbo费用:详见SFS计费说明。 ModelArts费用:详见ModelArts计费说明。
如何提高SFS Turbo文件系统拷贝和删除操作的效率? Linux常用cp、rm、tar命令,默认属于串行操作,无法发挥网络文件系统的并发优势,需要用户并发执行以上命令,提升执行效率。 父主题: 其他类
虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。
400 错误响应 { "errCode" : "SFS.TURBO.0001", "errMsg" : "parameter error" } 状态码: 500 错误响应 { "errCode" : "SFS.TURBO.0005", "errMsg" : "Internal
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/perm-rules 表1 路径参数 参数 是否必选 参数类型 描述 project_id