检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原因2:网络连接异常。 定位思路 排除网络问题后,重试挂载命令。 解决方法 原因1和原因2:网络状态不稳定;网络连接异常。 修复网络,网络修复完成后重新执行挂载。 成功=>处理结束。 失败=>请联系技术支持。
练程序从已有checkpoint恢复时,每张卡都需要从持久化存储中加载,在训练集群规模较大,存储带宽较低的场景下,加载耗时可能会达到小时级,严重影响训练恢复。因此,我们在AITurbo SDK中提供了快速保存和加载checkpoint的功能,当前流行的两种大模型训练框架Megatron进行简单适配便可使用。
install nfs-utils 图2 执行安装命令 图3 安装成功 重新执行挂载命令。将文件系统挂载到云服务器上。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp 挂载地址 本地路径 挂载完成后,执行如下命令,查看已挂载的文件系统。
Turbo文件系统复制和删除操作的效率? Linux常用cp、rm、tar命令,默认属于串行操作,无法发挥网络文件系统的并发优势,需要用户并发执行以上命令,提升执行效率。 父主题: SFS Turbo删除类问题
通用户Mike为例。 图2 添加用户 编辑完成后,单击“Esc”,并输入:wq,保存文件并退出。 执行chmod 440 /etc/sudoers命令恢复sudoers文件权限为只读权限。 切换到普通用户Mike登录弹性云服务器。 执行如下命令挂载文件系统。挂载参数参见表1。 sudo
查询job的状态详情 功能介绍 查询job的执行状态。 可用于查询SFS Turbo异步API的执行状态。例如:可使用调用创建并绑定ldap配置接口时返回的jobId,通过该接口查询job的执行状态。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟到几小时
安装NFS客户端。 执行如下命令查看系统(此处以CentOS为例)是否安装NFS软件包。 rpm -qa|grep nfs 如果回显如下信息,说明已经成功安装NFS软件包,执行解析域名步骤。如未显示,执行安装命令。 libnfsidmap nfs-utils 如果查看到未安装,执行如下命令。
务器上安装NFS客户端后使用挂载命令挂载文件系统或使用正确的用户和权限,直接输入SMB文件系统的挂载地址,挂载SMB类型的文件系统。挂载完成后,可共享您的文件系统中的文件和目录。 SFS Turbo类型的文件系统暂不建议挂载至Windows系统的云服务器。 父主题: SFS Turbo访问类问题
如何确认Linux云服务器上的SFS Turbo文件系统处于可用状态? 以root用户登录云服务器,执行“showmount -e 文件系统域名或IP”命令,回显如下内容,则代表命令中“文件系统域名或IP”对应的SFS Turbo文件系统处于可用状态。 Export list for
访问OBS存储桶中的数据。元数据导入功能仅会导入文件元数据,文件内容会在首次访问时从OBS存储桶中加载并缓存在SFS Turbo中,后续重复访问会直接命中,无需再从OBS存储桶中加载。 SFS Turbo文件系统提供快速导入和附加元数据导入两种元数据导入方式。元数据导入之后,您可
高性能计算 场景介绍 高性能计算通常指以计算为目的,使用了很多处理器的单个计算机系统或者使用了多台计算机集群的计算机系统和环境。能够执行一般个人电脑无法处理的大资料量与高性能的运算。高性能计算具有超高浮点计算能力,可用于解决计算密集型、海量数据处理等业务的计算需求,如应用于工业设
Linux系统 登录弹性云服务器。 执行以下命令。 umount 本地路径 本地路径:云服务器上用于挂载文件系统的本地路径,例如“/local_path”。 执行卸载命令时,请先结束所有与这个SFS Turbo文件系统相关的读写操作,并退出“本地路径”目录,再执行卸载命令,否则将卸载失败。
Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置冷数据淘汰时间。
删除SFS Turbo文件系统 文件系统删除后,文件系统中存放的数据将无法恢复。为避免数据丢失,执行删除操作前,请确认存放在该文件系统中的文件都已经在本地备份。 前提条件 删除文件系统之前,建议先卸载已挂载的文件系统。卸载操作请参见卸载SFS Turbo文件系统。 操作步骤 登录高性能弹性文件服务管理控制台。
效。 假设用户于2023/04/18 15:29:16购买了一个按需计费的文件系统,由于业务需要,于2023/04/18 16:30:30执行按需转包年/包月操作,生成类型为“按需转包年/包月”的订单。用户支付订单后,按需转包年/包月的文件系统立即生效。在“费用中心 > 账单管理”页面将生成如下三条账单信息:
目前暂不支持在高性能弹性文件服务控制台进行包年/包月转按需操作,需要在“费用中心 > 续费管理”页面操作。 前提条件 只有订单状态是“使用中”的文件系统才能执行包年/包月转按需。 操作步骤 登录管理控制台。 单击“控制台”页面上方“费用”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。
0.1:[本地监听端口] connect = [dns name]:2052 执行如下命令拉起stunnel进程。 stunnel /etc/stunnel/stunnel_[本地监听端口].conf 执行如下挂载命令。 mount -t nfs -o vers=3,nolock,tcp
文件系统挂载地址 /mnt/dst 在Linux云服务器中执行以下命令安装rsync工具。 yum install rsync 图1 安装rsync工具 源端服务器和目的端服务器均需要安装rsync工具,否则将会报错。 安装完成后,可以输入以下命令查询rsync工具的安装和版本情况。
监控安全风险 SFS Turbo提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的文件存储系统的使用情况,执行自动实时监控、告警和通知操作。用户可以实时监控高性能弹性文件服务的客户端连接数、带宽、IOPS、容量等信息。 关于SFS Turbo支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。