检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数类型 描述 X-Auth-Token 是 String 账号的token Content-Type 是 String MIME类型, application/json 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 tasks Array of OneFsTaskResp
os-deny_access对象。 当API的版本号在1.0-2.6之间时,请求体中JSON格式的body体中顶层参数使用"os-"前缀。如果需要使用的API版本大于2.6,则需要去掉"os-"前缀。 os-deny_access字段说明: 参数 是否必选 参数类型 描述 access_id 是 String
创建增强型的文件系统,包括标准型-增强版和性能型-增强版,需要填写"bandwidth"。 创建20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统,需要填写"hpc"。 创建HPC缓存型,需要填写"hpc_cache"。
表1 请求Header参数 参数 是否必选 参数类型 描述 Content-type 是 String 发送的实体的MIME类型。 示例:application/json。 X-Auth-Token 否 String 用户Token。 表2 请求Body参数 参数 是否必选 参数类型
security_group_id 是 String 需要修改的目标安全组ID。 响应参数 状态码: 202 表5 响应Body参数 参数 参数类型 描述 id String SFS Turbo文件系统ID。 请求示例 修改文件系统绑定的安全组,需要修改的目标安全组ID为“26f6b565-
SFS容量型文件系统容量较小 SFS容量型文件系统的性能与容量相关:20MB/TB,100TB的文件系统最大带宽为2GB,如需更大带宽则需要购买更大容量的文件系统。如果需要更高性能,请提交工单申请。 并发数过高或过低 并发数过高或过低均有可能导致文件系统性能变差,请提交工单进行技术咨询。 日志文件路径中包含变量
该VPC已无法进行使用,建议将该VPC从列表中删除。 通用文件系统在配置VPC前,需要先完成创建VPC终端节点,建立计算资源与弹性文件服务的通信后,再进行配置。 通用文件系统新配置的VPC,均需要创建对应的VPC终端节点,否则会导致文件系统挂载失败。 SFS容量型操作步骤 登录弹性文件服务管理控制台。
时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效率。当发生故障,训练程序从已有checkpoint恢复时,每张卡都需要从持久化存储中加载,在训练集群规模较大,存储
部租户。0表示只显示当前租户。 project_id 否(查询参数) String 该参数仅支持管理员权限用户使用。创建共享的项目的ID。需要参数配合all_tenants使用。 status 否(查询参数) String 通过共享状态过滤。参数取值如下: creating:正在创建共享
权限控制 IAM权限 IAM权限是作用于云资源的,IAM权限定义了允许和拒绝的访问操作,以此实现云资源权限访问控制。管理员创建IAM用户后,需要将用户加入到一个用户组中,IAM可以对这个组授予SFS所需的权限,组内用户自动继承用户组的所有权限。 权限管理 父主题: 身份认证与访问控制
S存储中的数据迁移至云上。 将云上NAS存储数据迁移至SFS Turbo文件系统中也可以参考本方案,云上NAS和SFS Turbo文件系统需要配置在同一个VPC下。 约束与限制 支持拷贝特殊文件,如连接文件、设备等。 支持单文件断点续传。 支持保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性。
所有需手动续费的资源都可归置到“手动续费项”页签,具体操作请参见如何恢复为手动续费。 手动续费资源。 单个续费:在资源页面找到需要续费的资源,单击操作列的“续费”。 图3 单个续费 批量续费:在资源页面勾选需要续费的资源,单击列表左上角的“批量续费”。 图4 批量续费 选择文件系统的续费时长,判断是否勾选“
详细介绍请参见计费项。 运维成本:使用弹性文件服务SFS过程中产生的人力成本。 华为云成本中心可以帮助您更高效地管理资源成本,但运维成本需要您自行识别、管理和优化。 成本分配 成本管理的基础是树立成本责任制,让各部门、各业务团队、各责任人参与进来,为各自消耗云服务产生的成本负责
"Effect": "Allow" } ] } 示例2:拒绝用户删除文件系统 拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先。 如果您给用户授予SFS
根据文件系统所使用的存储容量和使用时长计费 存储费用=每GB费率*使用容量*使用时长 说明: 在计算低频型通用文件系统时,系统预设的生命周期规则中“转换为低频访问存储天数”为14天,这14天及之前按容量型费用计费,14天后按低频型计费。 按需计费 流量费用 低频型 写流量 根据写流量大小计费
“<”,“>”,“\”,“,”,“|”,“/”。 须知: 调用删除共享标签接口删除标签时,如果标签的键中存在不被URL直接解析的特殊字符,需要对标签的键进行URL转义处理。 请求消息头 该操作消息头与普通请求一样,请参见表3。 请求消息 参数说明 无 请求样例 无 响应消息 参数说明
“/”。只能包含大写字母、小写字母、数字,特殊字符"-"和"_"。 说明:调用删除共享标签接口删除标签时,如果标签的键中存在不被URL直接解析的特殊字符,需要对标签的键进行URL转义处理。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
DELETE操作正常返回。 异常 返回值 说明 400 Bad Request 服务器未能处理请求。 401 Unauthorized 被请求的页面需要用户名和密码。 403 Forbidden 对被请求页面的访问被禁止。 404 Not Found 服务器无法找到被请求的页面。 405 Method
客户端会主动删除该文件;如果该客户端未清理该文件时就已经crash,这些文件将会残留在文件系统中。 清理.nfs文件 .nfs文件一定是需要被清理的文件,您可以直接使用rm -f命令进行删除,删除之后不会影响文件系统的正常使用。直接删除.nfs文件如果报错,类似如下场景: 图1
TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo