检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
任务管理 查询job的状态详情 父主题: SFS Turbo API说明
方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问
文件系统id rule_id 是 String 权限规则id 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 账号的token Content-Type 是 String MIME类型 响应参数 状态码: 400
URI POST /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/dir 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id share_id 是 String 文件系统id 请求参数 表
Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 账号的token Content-Type 是 String MIME类型 响应参数 无 请求示例 ID为"77ba6f4b-6365-4895-8dda-bc7142af4dde"的文件系统
停售影响 正式停售后,用户将无法再新购买SFS Turbo 标准型-增强版、性能型-增强版规格,推荐您在相应区域购买SFS Turbo其他规格文件系统:20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/
说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。 SFS Turbo费用:详见SFS计费说明。
获取后端存储详细信息 功能介绍 获取后端存储详细信息 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。
更新后端存储自动同步策略 功能介绍 更新后端存储自动同步策略 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。
创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。
创建数据导入导出任务 功能介绍 创建数据导入导出任务 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。
SFS容量型:example.com:/share-xxx/子目录 通用文件系统:example.com:/share-xxx/子目录 SFS Turbo:xx.xx.xx.xx:/子目录 子目录:上一步骤创建的子目录 本地路径:云服务器上用于挂载文件系统的本地路径,例如“/local_path
创建SFS Turbo HPC型文件系统:创建1个SFS Turbo文件系统,文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶:创建1个OBS桶,存储类别为“标准存储”,桶策略为“私有”。
删除数据导入导出任务 功能介绍 删除数据导入导出任务 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API Explorer
企业项目限制 不能超过20个,否则可能导致创建SFS容量型文件系统失败。建议使用SFS Turbo文件系统或通用文件系统。 复制功能 不支持 跨区域挂载 不支持 SFS容量型文件系统已售罄,您还可以选择通用文件系统或者SFS Turbo。
URI POST /v1/{project_id}/sfs-turbo/{share_id}/tags/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID share_id 是 String 共享ID 请求参数 表2 请求
父主题: 如何调用SFS容量型/SFS Turbo API
URI DELETE /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/dir-quota 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id share_id 是 String 文件系统id
SFS Turbo文件系统:支持通过虚拟私有云的VPC对等连接功能,将同区域的两个或多个VPC互连以使这些VPC互通,则实际上不同的VPC便处于同一个网络中,归属于这些VPC下的云服务器也能共享访问同一个文件系统。