检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“关联sfsturbo”弹窗中,选择创建资源中创建的SFS Turbo HPC型文件系统。 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。 一个SFS Turbo文件系统最多可关联1个网络。 父主题: 基本配置
SFS Turbo删除类问题 如何删除.nfs类型的文件? 如何提高SFS Turbo文件系统复制和删除操作的效率?
共享标签 创建共享标签 查询共享标签 删除共享标签 批量添加共享标签 查询租户所有共享的标签 通过标签查询文件系统列表 父主题: API
维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。
连接管理 修改文件系统绑定的安全组 父主题: API
适用于多种应用场景,包括AI训练、AIGC、自动驾驶、渲染、EDA仿真、企业NAS应用等。 SFS Turbo为用户提供更为丰富的文件系统规格选择,助力更多不同场景下的业务成功上云。 表1 SFS Turbo文件系统 参数 20MB/s/TiB 40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB
API 生命周期管理 连接管理 共享标签 名称管理 文件系统管理 存储联动管理 目录管理 权限管理 任务管理
创建目标文件夹quota 更新目标文件夹quota 查询目标文件夹quota 删除目标文件夹quota 创建目录 查询目录是否存在 删除文件系统目录 查询目录资源使用情况 父主题: API
Turbo(rclone工具) 通过跨服务器迁移数据至SFS Turbo(rclone工具) 通过云专线迁移数据至SFS Turbo(rsync工具) 文件系统之间迁移数据
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID share_id 是 String 文件系统id rule_id 是 String 权限规则id 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
更新后端存储属性 更新后端存储自动同步策略 创建数据导入导出任务 查询数据导入导出任务详情 查询数据导入导出任务列表 删除数据导入导出任务 更新文件系统 父主题: API
如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移? 如何将SFS Turbo部署至CCE? SFS Turbo文件系统中的数据可以跨区域迁移吗? 如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移?
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id share_id 是 String 文件系统id 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 账号的token Content-Type
Container Instance,CCI),裸金属服务器(Bare Metal Server,BMS)提供共享访问。 您可以使用本文档提供API对文件系统进行相关操作,如创建、查询、删除、更新等。支持的全部操作请参见API概览。 在调用高性能弹性文件服务API之前,请确保已经充分了解高性能弹
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id share_id 是 String 文件系统id 表2 Query参数 参数 是否必选 参数类型 描述 path 是 String 合法的已存在的目录的全路径 请求参数 表3 请求Header参数
502 Bad Gateway 请求未完成。服务器从上游服务器收到一个无效的响应。 503 Service Unavailable 请求未完成。系统暂时异常。 504 Gateway Timeout 网关超时。 父主题: 附录
String MIME类型 响应参数 无 请求示例 ID为"77ba6f4b-6365-4895-8dda-bc7142af4dde"的文件系统,删除key为test的标签 DELETE HTTPS://{endpoint}/v1/{project_id}/sfs-turbo/77
础设施也带来全新的挑战。 高吞吐的数据访问挑战:随着企业使用 GPU/NPU 越来越多,底层存储的 IO 已经跟不上计算能力,企业希望存储系统能提供高吞吐的数据访问能力,充分发挥 GPU/NPU 的计算性能,包括训练数据的读取,以及为了容错做的检查点(以下简称Checkpoint
“/”。只能包含大写字母、小写字母、数字,特殊字符"-"和"_"。 请求示例 ID为"77ba6f4b-6365-4895-8dda-bc7142af4dde"的文件系统,查询标签 GET HTTPS://{endpoint}/v1/v1/{project_id}/sfs-turbo/77ba6f4b-63
用户权限时该字段必选。如果有op_service权限时,tags和sys_tags二选一。 sys_tags 否 Array of ResourceTag objects 系统标签列表。 op_service权限可以访问,和tags二选一。目前TMS调用时只包含一个resource_tag结构体,key固定为:_