检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
int快速恢复。 图2 加载checkpoint流程 安装AITurbo SDK 安装AITurbo SDK依赖包。 AITurbo SDK依赖rpyc,setproctitle,PyYAML,pathlib2等三方库,安装方式如下: pip install rpyc setproctitle
登录云服务器,查看nfs-utils是否已安装。执行如下命令,如果没有结果表示未安装。 rpm -qa|grep nfs 图1 查看是否已安装软件包 执行如下命令,安装nfs-utils软件包。 yum -y install nfs-utils 图2 执行安装命令 图3 安装成功 重新执行挂载命令。将文件系统挂载到云服务器上。
加密挂载教程-Linux 安装stunnel。 stunnel是一个开源网络中继。stunnel会监听本地端口,并将发到其上的流量加密转发到SFS Turbo文件系统,要使用加密传输功能需要先安装stunnel。请执行以下命令进行安装: ubuntu或Debian操作系统安装命令 sudo apt
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net
Megatron框架的适配需要提前安装好pytorch及其依赖。 Megatron改动示例 设置环境变量,命令如下所示: AITURBO_BACKUP_ENABLE = True 环境变量“AITURBO_BACKUP_ENABLE”用于配置是否开启内存副本,当对可靠性要求不高时可以不配置,默认为Fa
用SDK的难度,推荐使用。 SDK列表 表1提供了SFS Turbo服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 Java huaweicloud-sdk-java-v3 Java
已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux CentOS系统为例说明: 在官网下载fio。 yum install fio 安装libaio引擎。
已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux CentOS系统为例说明: 在官网下载fio。 yum install fio 安装libaio引擎。
如何从云服务器访问SFS Turbo文件系统? 要访问您的文件系统,如果是Linux云服务器,您需要在Linux云服务器上安装NFS客户端后使用挂载命令挂载文件系统或使用正确的用户和权限,直接输入SMB文件系统的挂载地址,挂载SMB类型的文件系统。挂载完成后,可共享您的文件系统中的文件和目录。
在Linux云服务器中执行以下命令安装rsync工具。 yum install rsync 图1 安装rsync工具 源端服务器和目的端服务器均需要安装rsync工具,否则将会报错。 安装完成后,可以输入以下命令查询rsync工具的安装和版本情况。 rsync -version 图2 查看工具安装情况 执
无法使用nslookup命令时,需要先安装bind-utils软件包。(可通过执行yum install bind-utils命令安装) 解析成功,执行该步骤。 解析失败,请先完成DNS服务器IP地址的配置再执行挂载文件系统的操作,具体配置操作请参见配置DNS。 执行如下命令,创建用于挂载文件系统的本地路径。
加速保存与加载checkpoint 加速原理与安装AITurbo SDK 适配pytorch 父主题: AITurbo AI场景加速
无法使用nslookup命令时,需要先安装bind-utils软件包。(可通过执行yum install bind-utils命令安装) 解析成功,执行该步骤。 解析失败,请先完成DNS服务器IP地址的配置再执行挂载文件系统的操作,具体配置操作请参见配置DNS。 执行如下命令,创建用于挂载文件系统的本地路径。
Engine,简称CCE) 挂载NFS文件系统到云服务器(Linux) VPC为弹性云服务器构建隔离的、用户自主配置和管理的虚拟网络环境,提升用户云中资源的安全性,简化用户的网络部署。 云服务器无法访问不在同一VPC下的文件系统,使用高性能弹性文件服务时需将文件系统和云服务器归属于同一VPC下。
失败,才需要配置DNS的IP地址。 Linux系统操作步骤 以root用户登录云服务器。 执行vi /etc/resolv.conf命令编辑“/etc/resolv.conf”文件。在已有的nameserver配置前写入DNS服务器的IP地址,如图1所示。 图1 配置DNS 格式如下:
云上NAS数据迁移至高性能弹性文件服务 云上NAS和SFS Turbo文件系统只需配置在同一个VPC下,或使用云连接(CC)配置网络后,再参考以上操作步骤,即可进行云上NAS数据迁移至高性能弹性文件服务中。 云连接配置操作请参考云连接用户指南。 父主题: 数据迁移
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
已创建SFS容量型或SFS Turbo文件系统,并获取到文件系统的挂载地址。 资源规划 本章节介绍案例中使用的资源信息。具体如表1所示。 表1 资源规划 产品 配置示例 说明 弹性云服务器 ECS 规格:8vCPUs | 16GB | c7.2xlarge.2 操作系统:Linux 区域:华北-北京四
数据。多台ECS安装NFS客户端后,挂载文件系统,即可实现ECS间的文件共享。Linux客户端建议使用NFS协议。 删除子网 支持区域: 全部 挂载NFS文件系统到云服务器(Linux) 备份 备份是文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。
云上NAS数据迁移至高性能弹性文件服务 云上NAS和SFS Turbo文件系统只需配置在同一个VPC下,或使用云连接(CC)配置网络后,再参考以上操作步骤,即可进行云上NAS数据迁移至高性能弹性文件服务中。 云连接配置操作请参考云连接用户指南。 父主题: 高性能弹性文件服务数据迁移