检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如图1所示,根据界面提示配置参数,参数说明如表1所示。 图1 创建SFS Turbo文件系统 表1 参数说明 参数 说明 备注 计费模式 必选参数。 选择计费模式为包年/包月或按需计费。详细的服务资费费率标准请参见价格说明。 默认为按需计费。 区域 必选参数。
noatime 如果不需要记录文件的访问时间,可以设置该参数。避免频繁访问时,修改访问时间带来的开销。 nodiratime 如果不需要记录目录的访问时间,可以设置该参数。避免频繁访问时,修改访问时间带来的开销。 没有“使用建议”的参数推荐使用默认参数。
单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。 填写训练作业相关参数信息,以下配置项请按要求填写,其余参数配置请参考创建训练作业根据您的自身情况选择。 资源池:专属资源池,选择创建资源中创建的ModelArts资源池。
图1 绑定OBS桶 在右侧弹窗“绑定OBS桶”中,填写如下表所示参数。 表1 绑定OBS桶配置参数 参数 含义 限制 配置后可编辑 联动目录名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录,该目录将绑定对应的OBS桶,且该目录名称不能和已有目录重名。
区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
挂载参数参见表1。 sudo mount -t nfs -o vers=3,timeo=600,noresvport,nolock 挂载地址 本地路径 表1 参数说明 参数 说明 挂载地址 格式为:文件系统IP:/,例如192.168.0.0:/。 说明: x是数字或字母。
在文件系统列表中查看所有文件系统的基本信息,参数说明如表1所示。 表1 参数说明 参数 说明 名称 已创建的文件系统名称,例如:sfs-turbo-name001。
本步骤仅针对示例中的关键参数进行设置和介绍,其他参数保持默认,更多创建SFS Turbo文件系统的详细信息请参见创建SFS Turbo文件系统。 登录高性能弹性文件服务控制台。
图1 包年/包月的SFS Turbo文件系统扩容 表1 参数说明 参数 说明 当前容量 当前文件系统的容量。 目标容量 容量调整后文件系统的容量。 取值约束: 标准型、标准型-增强版(停售)、性能型、性能型-增强版(停售):扩容步长至少为100GB起步。
表1 SFS Turbo文件系统 参数 20MB/s/TiB 40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB 最大带宽 8GB/s 如需提高吞吐能力,请提交工单申请,最高可达20 GBps 8GB/s 如需提高吞吐能力
图7 创建文件系统 要了解这些参数的详细说明,请参见“创建文件系统”中“创建SFS Turbo文件系统”的表格“参数说明”的相关参数解释。 可以修改文件系统的类型,但只能进行同类型文件系统之间的修改。
图3 申请扩大配额 在“新建工单”页面,根据您的需求,填写相关参数。 其中,“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后,勾选协议并单击“提交”。
必须要提供的3个参数: 配额路径:目录绝对路径。 配额容量:单位为MiB,表示用户在配额路径下所拥有文件和目录的最大存储量。 配额文件数:表示用户在配额路径下所拥有文件和目录的最大数量。 删除与查询配额 必须要提供的1个参数: 配额路径:目录的绝对路径。
在创建文件系统页面,根据界面提示配置参数。 配置完成后,单击“立即创建”,完成文件系统创建。 Linux系统ECS挂载操作请参见挂载SFS Turbo文件系统到Linux云服务器。 配置日志目录为共享文件系统(建议每个主机使用不同的日志文件)。 启动应用程序。
在创建文件系统页面,根据界面提示配置参数。 配置完成后,单击“立即创建”,完成文件系统创建。 Linux系统ECS挂载操作请参见挂载SFS Turbo文件系统到Linux云服务器。 登录头节点将需要上传的网站文件上传到挂载的文件系统。 启动Web Server。
当AI算力集群规模变大,大模型参数量变大,导致Checkpoint读加载时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进行性能扩容,以缩短数据加载时长。详情可参见SFS Turbo监控指标说明和创建告警规则。
图1 绑定OBS桶 在右侧弹窗“绑定OBS桶”中,填写如下参数。 表1 参数说明 参数 含义 限制 配置后可编辑 联动目录名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录,该目录将绑定对应的OBS桶,且该目录名称不能和已有目录重名。
在Request Body中传入参数如下: { "share": { "name": "sfs-turbo-test", "share_proto": "NFS", "share_type": "STANDARD", "size": 100,
rclone copy /mnt/src /mnt/dst -P --transfers 32 --checkers 64 --links --create-empty-src-dirs 参数说明如下,transfers和checkers数目可以根据系统规格自行配置: /mnt/src
rclone copy /mnt/src /mnt/dst -P --transfers 32 --checkers 64 --links --create-empty-src-dirs 参数说明如下,transfers和checkers数目可以根据系统规格自行配置: --transfers