检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建文件系统 功能介绍 创建文件系统 URI PUT / 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 Authorization 是 String 签名信息 Date 是 String 请求时间 x-obs-bucket-type 是 String 通过此消息头明确创建文件系统。
下使用以下命令为普通用户Tom创建子目录。 由创建文件系统本地目录章节的步骤4可知root的本地目录为root001,使用以下命令为普通用户Tom创建子目录Tom。其中root001需替换为实际的本地目录。 mkdir /root/root001/Tom 使用以下命令将子目录To
删除文件系统ACL 功能介绍 删除文件系统ACL URI DELETE / 表1 Query参数 参数 是否必选 参数类型 描述 sfsacl 是 String / 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Date 是 String 请求消息时间 Authorization
文件系统ACL设置生效会有30s的滞后时间。 URI PUT / 表1 Query参数 参数 是否必选 参数类型 描述 sfsacl 是 String / 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Date 是 String 请求消息时间 Authorization
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
删除文件系统 功能介绍 删除文件系统 URI DELETE / 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 Authorization 是 String 签名头域 Date 是 String 请求时间 Host 是 String 表明主机地址。如filesystem
URI DELETE /v3/sfs/file-systems/{file-system}/quickly 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 Authorization 是 String 签名头域。 Date 是 String 请求时间。 Host
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
xx为步骤8中的节点IP。 xxx.xxx.xxx.xxx为线下专线网关或VPN网关的IP地址。 不同操作系统的Route命令格式存在差异,请以用户实际操作系统对应的Route命令格式为准。 测试VPCEP是否可以正常访问域名 dig 域名@xx.xx.xx.xx xx.xx.xx.xx为dns对应终端节点的IP。
bo/jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id job_id 是 String job ID 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
es 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id share_id 是 String 文件系统id target_id 是 String 绑定关系id 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
了解详细步骤请参考创建文件系统。 Step2 创建文件系统 单击“创建文件系统”。 图2 开始创建文件系统 在“创建文件系统”页面,设置文件系统的各项参数后,单击“立即创建”。 建议选择和云服务器相同的可用区。 可单击“查看虚拟私有云”查看已有VPC的详细信息或申请新的VPC。 了解详细步骤请参考创建文件系统。
务器的IP地址,具体配置操作请参见配置DNS。 在Windows 2012的CMD命令框执行如下命令(X为空闲盘盘符)。选择与文件系统所属VPC相同的云服务器进行挂载。 SFS容量型文件系统执行命令:mount -o nolock 挂载地址 X: 空闲盘盘符:未在使用的盘符,如E盘符、X盘符等。
Turbo文件系统,要使用加密传输功能需要先安装stunnel。请执行以下命令进行安装: ubuntu或Debian操作系统安装命令 sudo apt update sudo apt-get install stunnel CentOS,EulerOS或HCE OS操作系统安装命令 sudo yum install stunnel
DNS服务器的IP地址被重置。 执行如下命令,进行文件锁定设置。 chattr +i /etc/resolv.conf 如果需要再次对锁定文件进行修改,执行chattr -i /etc/resolv.conf命令,解锁文件。 执行如下命令,验证是否设置成功。 lsattr /etc/resolv
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
获取Token,具体操作请参考认证鉴权 。 在Request Header中增加“X-Auth-Token”。 在Request Body中传入参数如下: { "share": { "name": "sfs-turbo-test", "share_proto": "NFS"