检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
策略,定期备份SFS Turbo。 您可以根据实际情况选择以下三种方式。默认选择“暂不购买”。 现在购买: 输入云备份存储库的名称:只能由中文字符、英文字母、数字、下划线、中划线组成,且长度小于等于64个字符。例如:vault-f61e。默认的命名规则为“vault_xxxx”。
已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net.org/。 下载格式转换后的annotation文件:ILSVRC2021wi
ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近
图4 本地连接活动 弹出“本地连接属性”对话框,选择“Internet 协议版本 4 (TCP/IPv4)”,单击“属性”。如图5所示。 图5 本地连接属性 在弹出的“Internet 协议版本 4 (TCP/IPv4)属性”对话框中,选择“使用下面的DNS服务器地址”,如图
删除”或“退订”。 如果需要同时删除多个文件系统,则选中多个文件系统,单击列表左上方“删除”批量删除操作仅限删除SFS容量型文件系统。 在对话框中确认删除信息无误后,在文本框中输入“DELETE”,最后单击“确定”。 包年/包月的SFS Turbo文件系统退订后,根据界面提示完成退订操作。 仅“
标签用于标识文件系统,以此来达到对文件系统进行分类的目的。当为文件系统添加标签时,该文件系统上所有请求产生的计费话单里都会带上这些标签,从而可以针对话单报表做分类筛选,进行更详细的成本分析。 × √ √
只能包含大写字母、小写字母、数字和特殊字符“-”和“_”以及中文字符。 Key_0001 值 输入标签的值,标签的值可以重复,并且可以为空。 标签值的命名规则如下: 长度范围为0到255个Unicode字符。 只能包含大写字母、小写字母、数字和特殊字符“-”和“_”以及中文字符。 Value_0001 参数
系统控制台。 在文件系统列表页,单击指定文件系统右侧的“配额管理”进入配额管理页面。 在配额管理页面,单击“设置配额”,系统弹出如图2所示对话框。 图1 配额管理页面 图2 设置配额 设置文件系统配额。 容量配额:必填,输入容量配额,必须大于0且不可低于已用容量。单位是GB。 文
您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大,大模型参数量变大,导致Checkpoint读加载时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进行性能扩容,以缩短数据加载时长。详情可参见SFS Turbo监控指标说明和创建告警规则。
高性能计算 场景介绍 高性能计算通常指以计算为目的,使用了很多处理器的单个计算机系统或者使用了多台计算机集群的计算机系统和环境。能够执行一般个人电脑无法处理的大资料量与高性能的运算。高性能计算具有超高浮点计算能力,可用于解决计算密集型、海量数据处理等业务的计算需求,如应用于工业设
件系统控制台。 在文件系统列表中,单击文件系统名称进入文件系统基本信息页面。 在“生命周期管理”页签,单击“创建规则”,系统弹出如图2所示对话框。 图1 生命周期管理页面 图2 创建生命周期规则 配置生命周期规则。 状态:选中“启用”,启用本条生命周期规则。 规则名称:输入规则名
存算分离,资源利用率高 GPU/NPU算力和SFS Turbo存储解耦,各自按需扩容,资源利用率提升。 2 SFS Turbo高性能,加速训练过程 训练数据集高速读取,避免GPU/NPU因存储I/O等待产生空闲,提升GPU/NPU利用率。 大模型TB级Checkpoint文件秒级保存和加载,减少训练任务中断时间。
选择“安全组”页签,选择目标安全组,弹性云服务器界面单击列表左侧“配置规则”。 在安全组界面,选择“入方向规则”页签,单击“添加规则”,弹出“添加入方向规则”对话框,如图1所示。安全组端口开放规则如下: 为了确保SFS Turbo能够被您的弹性云服务器访问,在成功创建SFS Turbo后,系统将自动放通SFS
件系统详情界面。 在左侧导航栏选择“标签”页签,如图1所示。 图1 “标签”页面 在“标签”页签下,单击“创建标签”按钮。弹出“编辑标签”对话框。 图2 编辑标签 添加标签的“键”和“值”,并单击“确定”。 键:该项为必选参数。 值:该项为可选参数。 返回标签列表,即可以看到新添
进入弹性云服务器界面,登录已创建好的Windows 2012版本的弹性云服务器。 单击“开始”,右键单击“这台电脑”,选择“映射网络驱动器”。 在弹出的对话框中输入文件系统的挂载地址,即\\文件系统域名\路径,如图1所示。 表1 变量说明 变量 说明 文件系统域名 文件系统域名请从文件系统的挂
查询Ldap的配置 功能介绍 查询Ldap的配置。LDAP(Lightweight Directory Access Protocol),中文名称轻量级目录访问协议,是对目录服务器(Directory Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地管理用户
修改ldap配置 功能介绍 修改ldap配置。LDAP(Lightweight Directory Access Protocol),中文名称轻量级目录访问协议,是对目录服务器(Directory Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地管理用户和群
创建并绑定ldap配置 功能介绍 创建并绑定ldap配置。LDAP(Lightweight Directory Access Protocol),中文名称轻量级目录访问协议,是对目录服务器(Directory Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地管理用户
删除ldap配置 功能介绍 删除ldap配置。LDAP(Lightweight Directory Access Protocol),中文名称轻量级目录访问协议,是对目录服务器(Directory Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地管理用户和群
该部分可选。请求消息体通常以结构化格式(如JSON或XML)发出,与请求消息头中Content-Type对应,传递除请求消息头之外的内容。若请求消息体中的参数支持中文,则中文字符必须为UTF-8编码。 每个接口的请求消息体内容不同,也并不是每个接口都需要有请求消息体(或者说消息体为空),GET、DELETE