检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建与卸载SFS Turbo加密文件系统 创建加密文件系统 创建SFS Turbo加密文件系统时,则不需要授权。 可以新创建加密或者不加密的文件系统,无法更改已有文件系统的加密属性。 创建加密文件系统的具体操作请参见创建SFS Turbo文件系统。 卸载加密文件系统 如果加密文件
用此功能,首先您需要搭建好LDAP服务器(当前SFS Turbo仅支持LDAP v3协议),常见提供LDAP协议访问的目录服务器实现有OpenLdap(Linux),Active Directory(Windows)等,不同目录服务器的实现细节有所差别,绑定时需要指定对应的Sch
用此功能,首先您需要搭建好LDAP服务器(当前SFS Turbo仅支持LDAP v3协议),常见提供LDAP协议访问的目录服务器实现有OpenLdap(Linux),Active Directory(Windows)等,不同目录服务器的实现细节有所差别,绑定时需要指定对应的Sch
当服务器A和服务器B同时挂载同一文件系统C时,在服务器A上传文件,服务器B同步此文件时存在延时,而单独上传至服务器B则没有延时。 定位思路 需要在两个服务器的挂载参数中增加参数noac和lookupcache=none。 noac表示禁止缓存,强制进行同步写。为了提高性能,NFS客
用此功能,首先您需要搭建好LDAP服务器(当前SFS Turbo仅支持LDAP v3协议),常见提供LDAP协议访问的目录服务器实现有OpenLdap(Linux),Active Directory(Windows)等,不同目录服务器的实现细节有所差别,绑定时需要指定对应的Sch
参数类型 描述 X-Auth-Token 是 String 账号的token Content-Type 是 String MIME类型, application/json 响应参数 状态码: 400 表3 响应Body参数 参数 参数类型 描述 errCode String 错误码
参数类型 描述 X-Auth-Token 是 String 账号的token Content-Type 是 String MIME类型, application/json 响应参数 状态码: 200 表4 响应Header参数 参数 参数类型 描述 X-request-id String
2TiB的倍数,扩容步长需要大于等于1.2TiB,需要将目标容量换算为GiB后需要向下取整。如4.8TiB->4915GiB,8.4TiB->8601GiB。 40MB/s/TiB,容量范围是1228~1048576 GiB。容量必须为1.2TiB的倍数,扩容步长需要大于等于1.2Ti
参数类型 描述 X-Auth-Token 是 String 账号的token Content-Type 是 String MIME类型, application/json 表3 请求Body参数 参数 是否必选 参数类型 描述 path 是 String 文件系统内合法的目录全路径
re 创建SFS Turbo实例时,需要vpc相关权限,包括校验vpc、子网、安全组,创建vip以及port,创建安全组规则等,需要增加授权项: "vpc:*:*" 加密实例需要在项目上配置KMS Administrator权限 专属场景,需要增加授权项: "dss:*:get"
目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。 在除中国大陆以外
单个资源设为自动续费:选择需要开通自动续费的SFS Turbo资源,单击操作列“设为自动续费”。 图3 单个资源设为自动续费 批量资源设为自动续费:选择需要开通自动续费的SFS Turbo资源,单击列表左上角的“设为自动续费”。 图4 多个资源设为自动续费 选择续费时长,并根据需要设置自动续费次数,单击“开通”。
参数类型 描述 X-Auth-Token 是 String 账号的token Content-Type 是 String MIME类型, application/json 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 task_id String 任务ID
登录高性能弹性文件服务管理控制台。 在SFS Turbo文件系统列表中,单击需要扩容的SFS Turbo文件系统所在行的“扩容”,进入“扩容”页面。 图2 按需计费的SFS Turbo文件系统扩容 根据业务需要,输入目标容量。参数说明请参考表1。 单击“确定”,在文件系统列表中查看文件系统调整后的容量信息。
排查思路 可能原因 处理措施 配额不足 已创建的文件系统数量已经达到配额上限,请提交工单申请扩大配额。 子网IP不足 如果子网IP资源不足,可以更换子网或者释放当前文件系统使用的子网下其他的IP地址。 后台资源不足 计算&存储资源等后台资源达到上限,请提交工单进行技术咨询。 提交工单
行数据迁移。例如,如果希望将SFS Turbo中的数据迁移到OBS中,则需要在服务器或容器中使用OBS的上传功能将数据上传至OBS;反之,使用OBS的下载功能即可将数据从OBS迁移到SFS Turbo(需要读写权限)。 OBS提供如表1所示的方式帮助用户迁移数据。请根据操作系统类
参数类型 描述 X-Auth-Token 是 String 账号的token Content-Type 是 String MIME类型, application/json 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 tasks Array of OneFsTaskResp
创建增强型的文件系统,包括标准型-增强版和性能型-增强版,需要填写"bandwidth"。 创建20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统,需要填写"hpc"。 创建HPC缓存型,需要填写"hpc_cache"。
security_group_id 是 String 需要修改的目标安全组ID。 响应参数 状态码: 202 表5 响应Body参数 参数 参数类型 描述 id String SFS Turbo文件系统ID。 请求示例 修改文件系统绑定的安全组,需要修改的目标安全组ID为“26f6b565-
时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效率。当发生故障,训练程序从已有checkpoint恢复时,每张卡都需要从持久化存储中加载,在训练集群规模较大,存储