检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询API版本 查询所有API版本 查询API版本的详细信息 父主题: SFS容量型API说明
TE”,最后单击“确定”。 包年/包月的SFS Turbo文件系统退订后,根据界面提示完成退订操作。 仅“可用”或“不可用”状态的文件系统才能被删除或退订。 通用文件系统支持在文件数不为0的情况下直接删除。 进入宽限期或保留期的包年/包月的SFS Turbo文件系统资源支持退订。
0-255等其他地址段表示形式。掩码位数的取值为0到31的整数,且只有为0.0.0.0/0时掩码位数可取0,其他情况均不合法。 网段类型请参见网段类型。 读写权限 支持选择以下读写权限。默认选择“rw”。 rw:用户拥有读写权限。 ro:用户拥有只读权限。 none:用户无权限访问。 用户权限 支持选择以
查询job的状态详情 功能介绍 查询job的执行状态。 可用于查询SFS Turbo异步API的执行状态。例如:可使用调用创建并绑定ldap配置接口时返回的jobId,通过该接口查询job的执行状态。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
查询租户所有共享的标签 功能介绍 查询租户所有共享的标签集合。 URI GET /v2/{project_id}/sfs/tags 参数说明 参数 是否必选 参数类型 描述 project_id 是 String 操作用户的项目ID,获取方法请参见获取项目ID。 请求消息头 该操作消息头与普通请求一样,请参见表3。
创建文件系统 操作场景 文件系统是SFS中存储文件的容器。您需要先创建一个文件系统,然后才能在SFS中存储数据。 下面介绍如何调用创建文件系统API在指定的区域创建一个文件系统,API的调用方法请参见如何调用通用文件系统API。 前提条件 已获取AK和SK,获取方法参见获取访问密钥(AK/SK)。
障之前的模型和优化器的状态继续训练。原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
概念类 什么是弹性文件服务? 什么是SFS Turbo? SFS、OBS和EVS有什么区别?
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
件系统的场景下),且您需要达到较高的带宽或IOPS时,建议开启该功能; 开启nconnect后对于单并发、小IO数据块等场景会有一定的时延增加,当您的业务为小并发的延迟敏感型时,不建议开启该功能; nconnect功能开启后,可以提升NFS客户端与服务端之间的吞吐性能,最终性能阈
欠费说明 用户在使用云服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,请及时充值。 欠费原因 购买了按需计费弹性文件服务,并使用了一段时间后,账户的余额不足。 欠费影响 包年/包月 对于包年/包月SFS资源,用户已经预先支付了资
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
权限控制 IAM权限 IAM权限是作用于云资源的,IAM权限定义了允许和拒绝的访问操作,以此实现云资源权限访问控制。管理员创建IAM用户后,需要将用户加入到一个用户组中,IAM可以对这个组授予SFS所需的权限,组内用户自动继承用户组的所有权限。 权限管理 父主题: 身份认证与访问控制
文件系统配额管理 默认情况下,SFS对文件系统的使用容量是没有限制的。为了让用户对容量和资源进行合理的分配和管理,通用文件系统支持对文件系统进行配额管理,包括设置配额、删除配额。 通用文件系统设置配额包括设置容量配额和文件数限制。 约束限制 由于配额的校验依赖于文件系统存量,而文件系统存量
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
root_squash:客户端使用的是root用户时,映射到NFS服务器的用户为NFS的匿名用户(nfsnobody)。客户端使用非root用户时,NFS服务器保持客户端使用的用户,不做映射。 all_squash:所有访问NFS服务器的客户端的用户都映射为匿名用户。 响应参数 状态码:
no_root_squash:默认选项。客户端使用包括root用户在内的任何用户,NFS服务器都保持客户端使用的用户,不做映射。 root_squash:客户端使用的是root用户时,映射到NFS服务器的用户为NFS的匿名用户(nfsnobody)。客户端使用非root用户时,NFS服务器保持客户端使用的用户,不做映射。
例如:某用户购买了1年1TB的SFS容量型/通用文件系统资源包,在SFS容量型控制台创建并使用了500GB的SFS容量型文件系统A,此时资源包已使用500GB,查看资源包使用量可以参考如何查看SFS容量型资源包的使用量?。过了一个月,该用户又创建并使用了600GB的SFS容量型文件系统B,此时资源包已