检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net.org/。 下载格式转换后的annotation文件:ILSVRC2021wi
ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。 说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近
图4 本地连接活动 弹出“本地连接属性”对话框,选择“Internet 协议版本 4 (TCP/IPv4)”,单击“属性”。如图5所示。 图5 本地连接属性 在弹出的“Internet 协议版本 4 (TCP/IPv4)属性”对话框中,选择“使用下面的DNS服务器地址”,如图
只能包含大写字母、小写字母、数字和特殊字符“-”和“_”以及中文字符。 Key_0001 值 输入标签的值,标签的值可以重复,并且可以为空。 标签值的命名规则如下: 长度范围为0到255个Unicode字符。 只能包含大写字母、小写字母、数字和特殊字符“-”和“_”以及中文字符。 Value_0001 参数
弹性文件服务数据迁移 方案概述 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据 SFS容量型文件系统迁移至其他文件系统
策略,定期备份SFS Turbo。 您可以根据实际情况选择以下三种方式。默认选择“暂不购买”。 现在购买: 输入云备份存储库的名称:只能由中文字符、英文字母、数字、下划线、中划线组成,且长度小于等于64个字符。例如:vault-f61e。默认的命名规则为“vault_xxxx”。
您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大,大模型参数量变大,导致Checkpoint读加载时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进行性能扩容,以缩短数据加载时长。详情可参见SFS Turbo监控指标说明和创建告警规则。
系统控制台。 在文件系统列表页,单击指定文件系统右侧的“配额管理”进入配额管理页面。 在配额管理页面,单击“设置配额”,系统弹出如图2所示对话框。 图1 配额管理页面 图2 设置配额 设置文件系统配额。 容量配额:必填,输入容量配额,必须大于0且不可低于已用容量。单位是GB。 文
标签用于标识文件系统,以此来达到对文件系统进行分类的目的。当为文件系统添加标签时,该文件系统上所有请求产生的计费话单里都会带上这些标签,从而可以针对话单报表做分类筛选,进行更详细的成本分析。 × √ √
方案概述 SFS Turbo默认只能被云上同一个VPC内的ECS/CCE访问,用户可通过云专线/VPN/对等连接等方式打通网络,实现多种访问方式。 云下或其他云访问: 云专线/VPN 云上同区域同一账号不同VPC: VPC对等连接 云上同区域跨账号访问: VPC对等连接 不同区域访问:
删除”或“退订”。 如果需要同时删除多个文件系统,则选中多个文件系统,单击列表左上方“删除”批量删除操作仅限删除SFS容量型文件系统。 在对话框中确认删除信息无误后,在文本框中输入“DELETE”,最后单击“确定”。 包年/包月的SFS Turbo文件系统退订后,根据界面提示完成退订操作。
件系统控制台。 在文件系统列表中,单击文件系统名称进入文件系统基本信息页面。 在“生命周期管理”页签,单击“创建规则”,系统弹出如图2所示对话框。 图1 生命周期管理页面 图2 创建生命周期规则 配置生命周期规则。 状态:选中“启用”,启用本条生命周期规则。 规则名称:输入规则名
弹性文件服务-成长地图 | 华为云 弹性文件服务 弹性文件服务(Scalable File Service,SFS)提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器(Elastic Cloud Server,ECS),容器(CCE&CCI),裸金属服务器(BMS)提供共享访问
文件系统之间迁移数据 方案概述 用户可以将SFS容量型文件系统中的数据迁移至SFS Turbo文件系统中,也可以将SFS Turbo文件系统中的数据迁移至SFS容量型文件系统中,进行云上业务拓展。 此方案通过创建一台Linux操作系统的云服务器,来连接SFS容量型文件系统和SFS
通过云专线迁移 背景说明 用户可以将本地NAS存储中的数据,通过云专线迁移至云上SFS Turbo文件系统中,进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器,来连接本地NAS存储以及云上SFS Turbo文件系统的通信,并通过这台服务器将本地NAS存储中的数据迁移至云上。
修改ldap配置 功能介绍 修改ldap配置。LDAP(Lightweight Directory Access Protocol),中文名称轻量级目录访问协议,是对目录服务器(Directory Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地管理用户和群
删除ldap配置 功能介绍 删除ldap配置。LDAP(Lightweight Directory Access Protocol),中文名称轻量级目录访问协议,是对目录服务器(Directory Server)进行访问、控制的一种标准协议。LDAP服务器可以集中式地管理用户和群
存算分离,资源利用率高 GPU/NPU算力和SFS Turbo存储解耦,各自按需扩容,资源利用率提升。 2 SFS Turbo高性能,加速训练过程 训练数据集高速读取,避免GPU/NPU因存储I/O等待产生空闲,提升GPU/NPU利用率。 大模型TB级Checkpoint文件秒级保存和加载,减少训练任务中断时间。
件系统详情界面。 在左侧导航栏选择“标签”页签,如图1所示。 图1 “标签”页面 在“标签”页签下,单击“创建标签”按钮。弹出“编辑标签”对话框。 图2 编辑标签 添加标签的“键”和“值”,并单击“确定”。 键:该项为必选参数。 值:该项为可选参数。 返回标签列表,即可以看到新添
选择“安全组”页签,选择目标安全组,弹性云服务器界面单击列表左侧“配置规则”。 在安全组界面,选择“入方向规则”页签,单击“添加规则”,弹出“添加入方向规则”对话框,如图1所示。安全组端口开放规则如下: 为了确保SFS Turbo能够被您的弹性云服务器访问,在成功创建SFS Turbo后,系统将自动放通SFS