检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的数据冗余等。另外以 AI 生态中非常流行的开源深度学习框架PyTorch为例,PyTorch默认会通过文件接口访问数据,AI算法开发人员也习惯使用文件接口,因此文件接口是最友好的共享存储访问方式。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。
are Metal Server,BMS)提供共享访问。 您可以使用本文档提供API对文件系统进行相关操作,如创建、查询、删除、更新等。支持的全部操作请参见API概览。 在调用高性能弹性文件服务API之前,请确保已经充分了解高性能弹性文件服务相关概念,详细信息请参见《高性能弹性文件服务产品介绍》。
权限和授权项 权限及授权项说明 授权项分类
状态码 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 正常 返回值 说明 200 OK GET和PUT操作正常返回。 201 Created POST操作正常返回。 202 Accepted 请求已被接受。 204 No Content DELETE操作正常返回。
约束限制 您能创建的文件系统的数量和容量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见“配额”。 更详细的限制请参见具体API的说明。 父主题: 使用前必读
调用说明 高性能弹性文件服务提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 父主题: 使用前必读
Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源
错误码 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 状态码 错误码 错误信息 描述 处理措施 400/404 SFS.TURBO.0001 Parameter error 参数错误 请使用合法的参数重试。 400/404 SFS.TURBO
本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。
由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和IAM用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块
SFS Turbo文件系统状态 SFS Turbo文件系统状态要素说明 返回值 说明 100 CREATING,正在创建。 200 ACTIVE,激活状态,SFS Turbo文件系统可挂载。 300 FAILED,失败。 303 CREATE_FAILED,创建失败。 400 DELETED,已删除。
Turbo各特性版本的功能发布和对应的文档动态,欢迎体验。 2019年9月 序号 功能名称 功能描述 阶段 相关文档 1 SFS Turbo增强版商用 SFS Turbo标准型-增强版: 最大带宽可达1GB/s,最高IOPS为15K。 时延在2~5ms左右,最大容量可达320TB。 带宽、IOPS及容量增强。 SFS
SFS Turbo文件系统子状态 SFS Turbo文件系统子状态要素说明 返回值 说明 121 在线扩容中。 221 在线扩容成功。 321 在线扩容失败。 父主题: 公共参数
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询高性能弹性文件服务的终端节点。 父主题: 使用前必读
存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶:创建1个OBS桶,存储类别为“标准存储”,桶策略为“私有”。 创建ModelArts资源池:创建1个专属资源池。 3 基本配置 配置ModelArts和SFS Turbo间网络直通。
Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略名称”,用户可根据需要自定义,例如“委托modelarts操作SFS
S Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据导入导出,您可借助外部工具将数据从OBS迁移到SFS
myhuaweicloud.region.dns”。 region为购买的终端节点所在的区域。 根据界面提示配置参数。 图1 购买终端节点(云服务-接口型) 选择“立即购买 > 提交”,完成创建。 查看连接DNS服务的终端节点创建完成后返回的节点IP。 在用户本地数据中心的DNS服务器配置相应的DNS转发规则,将解析SFS
求。例如:针对ECS服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分,SFS Turbo支持的API授权项请参见策略及授权项说明。 如表1所示,包括了SFS Turbo的所有系统权限。 表1 SFS Turbo系统权限
表1 参数说明 参数 说明 本地路径 云服务器上用于挂载文件系统的本地路径,例如“/local_path”。 挂载地址 SFS Turbo标准型、标准型-增强版、性能型、性能型-增强版文件系统的格式为:文件系统IP:/,例如192.168.0.0:/。 SFS Turbo 20MB/