检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、大小、最后修改时间)以及来源于SFS Turbo 导出时的附加元数据(如uid、gid、mode)。 快速导入方式仅会导入OBS对象的元数据(名称、大小、最后修改时间),不会导入其它附加元数据(如uid、gid、mode),SFS Turbo会生成默认的附加元数据。 数据预热功
new_size 是 Integer 扩容后文件系统的新容量,以GiB为单位。 SFS Turbo上一代文件系统规格类型-标准型和性能型,取值范围500~32768 GiB,扩容步长大于等于100 GiB。 SFS Turbo上一代文件系统规格类型-标准型增强版和性能型增强版。容量范围是10240~327680
400 错误响应 { "errCode" : "SFS.TURBO.0001", "errMsg" : "parameter error" } 状态码: 500 错误响应 { "errCode" : "SFS.TURBO.0005", "errMsg" : "Internal
目录已使用的容量大小,单位:MB。仅SFSTurbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB返回该字段 used_inode Integer 目录的已使用的inode数量。仅SFSTurbo 20MB/s
400 错误响应 { "errCode" : "SFS.TURBO.0001", "errMsg" : "parameter error" } 状态码: 500 错误响应 { "errCode" : "SFS.TURBO.0005", "errMsg" : "Internal
错误响应 { "errCode" : "SFS.TURBO.0102", "errMsg" : "Path is not directory" } 状态码: 500 错误响应 { "errCode" : "SFS.TURBO.0005", "errMsg" : "Internal
SFS容量型资源包和SFS Turbo资源包是否通用? 不通用。 SFS容量型文件系统的资源包可以通过“购买SFS容量型资源包”来单独购买资源包。资源包不支持跨区域使用,购买前请仔细核对区域。 SFS Turbo类型的文件系统,除了在创建文件系统时购买资源包,还可以将按需计费的文
训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出,无需部署外部数据拷贝机器及工具。 4 冷热数据自动流动,降低存储成本 SFS Turbo支持自定义
目录已使用的容量大小,单位:MB。仅SFSTurbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB返回该字段。数据可能有延迟。 used_inode Integer 目录的已使用的inode数量。仅SFSTurbo 2
配置ModelArts和SFS Turbo间网络直通。 创建委托授权ModelArts云服务使用SFS Turbo。 配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
目录已使用的容量大小,单位:MB。仅SFSTurbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB返回该字段 used_inode Integer 目录的已使用的inode数量。仅SFSTurbo 20MB/s
key为要匹配的字段,仅支持取值“resource_name”。value为匹配的值,当value以“*”结尾时,为前缀搜索。例如:value值为“sfsturbo*”时,返回名称为“sfsturbo”开头的所有资源列表。 表4 Tag 参数 是否必选 参数类型 描述 key 是 String 标签的键。 最大长度128个字符。
FS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
SFS容量型资源包和SFS Turbo资源包是否通用? 不通用。 SFS容量型文件系统的资源包可以通过“购买SFS容量型资源包”来单独购买资源包。资源包不支持跨区域使用,购买前请仔细核对区域。 SFS Turbo类型的文件系统,除了在创建文件系统时购买资源包,还可以将按需计费的文
字符"-"和"_"。 表6 ShareInfoFeatures 参数 参数类型 描述 backup ShareInfoFeature object SFS Turbo文件系统是否支持备份。 表7 ShareInfoFeature 参数 参数类型 描述 is_support Boolean
" } } 响应示例 状态码: 202 SFS Turbo文件系统ID。 { "id" : "67d4bd5e-7b2f-4c24-9a0b-c0038940c6f8" } 状态码 状态码 描述 202 SFS Turbo文件系统ID。 错误码 请参见错误码。 父主题: 连接管理
400 错误响应 { "errCode" : "SFS.TURBO.0001", "errMsg" : "parameter error" } 状态码: 500 错误响应 { "errCode" : "SFS.TURBO.0005", "errMsg" : "Internal
21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。 SFS Turbo费用:详见SFS计费说明。 ModelArts费用:详见ModelArts计费说明。