检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认为NFS。 选择网络 必选参数。 选择VPC及其子网。 VPC:云服务器无法访问不在同一VPC下的文件系统,请选择与云服务器相同的VPC。 子网:子网是VPC内的IP地址块,同一个VPC下,子网网段不会重复。通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 说明:
当您的业务对时延、IOPS指标要求较高时,使用SFS Turbo文件系统进行同区域下跨可用区挂载或者跨区域挂载时,由于跨可用区/跨区域网络时延远大于同可用区,导致SFS Turbo文件系统跨可用区或者跨区域挂载访问性能大幅下降(IO时延增大数倍/数十倍),请谨慎使用跨可用区/跨区域挂载方案。
Engine,简称CCE) 挂载NFS文件系统到云服务器(Linux) VPC为弹性云服务器构建隔离的、用户自主配置和管理的虚拟网络环境,提升用户云中资源的安全性,简化用户的网络部署。 云服务器无法访问不在同一VPC下的文件系统,使用高性能弹性文件服务时需将文件系统和云服务器归属于同一VPC下。
客户端连接数 该指标用于统计测量客户端连接数。 说明: 连接数统计的是活跃的客户端链接。 如果客户端长时间无 IO,网络链接会自动断开,当有 IO 时客户端会自动重新建立网络链接。 ≥ 0 高性能弹性文件服务 1分钟 data_read_io_bytes 读带宽 该指标用于测量读I/O负载。
share_proto 是 String 文件系统共享协议,有效值为NFS。NFS(Network File System),即网络文件系统。一种使用于分散式文件系统的协议,通过网络让不同的机器、不同的操作系统能够彼此分享数据。 share_type 是 String 文件系统类型,有效值为ST
需要入方向的端口号为111、2049、2051、2052、20048。SMB协议所需要的端口号为445。如您需要修改开放的端口,可以前往“网络控制台 > 访问控制 > 安全组”找到目标安全组进行修改即可。 推荐SFS Turbo实例使用单独的安全组,与业务节点隔离。 图1 添加入方向规则
vers=3,timeo=600,noresvport,nolock,tcp 文件系统2挂载地址 /mnt/dst 下载并安装rclone工具。下载地址请参见https://rclone.org/downloads/。 执行以下命令,进行数据同步。 rclone copy /mnt/src
执行以下命令,验证文件系统域名是否可以解析到IP地址。 nslookup 文件系统域名 文件系统域名请从文件系统的挂载地址中获取。 (可选)在使用DHCP服务的网络环境,需要对“/etc/resolv.conf”文件进行锁定设置,禁止文件在云服务器重启后进行自动修改。防止2中写入的DNS服务器的IP地址被重置。
需要入方向的端口号为111、2049、2051、2052、20048。SMB协议所需要的端口号为445。如您需要修改开放的端口,可以前往“网络控制台 > 访问控制 > 安全组”找到目标安全组进行修改即可。推荐SFS Turbo使用单独的安全组,与业务节点隔离。 配置示例 入方向规则
noresvport,nolock,tcp SFS Turbo挂载地址 /mnt/dst 在本地服务器client1中执行以下命令安装rclone工具。 wget https://downloads.rclone.org/v1.53.4/rclone-v1.53.4-linux-amd64
支持文件系统挂载的操作系统 已通过兼容性测试的操作系统如表1所示。 表1 支持文件系统挂载的操作系统列表 类型 版本范围 CentOS CentOS 5,6,7 for x86 Debian Debian GNU/Linux 6,7,8,9 for x86 Oracle Oracle
示删除VPC失败;'350'表示配置联动后端失败;'351'表示删除联动后端配置失败。 subnet_id String 用户指定的子网的网络ID。 vpc_id String 用户指定的VPC ID。 enterprise_project_id String SFS Turbo文件系统绑定的企业项目ID。
示删除VPC失败;'350'表示配置联动后端失败;'351'表示删除联动后端配置失败。 subnet_id String 用户指定的子网的网络ID。 vpc_id String 用户指定的VPC ID。 enterprise_project_id String SFS Turbo文件系统绑定的企业项目ID。
按需计费 按需计费是一种先使用再付费的计费模式,适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费SFS Turbo资源的计费规则。 适用场景 按需计费适用于具有不能中断的短期、突增或不可预测的应用或服务,例如电商抢购、临时测试、科学计算。 适用计费项 SFS Turbo文
性能调优 SFS Turbo性能测试 SFS Turbo时延测试 提升单客户端访问SFS Turbo的性能(Linux)
通过AITurbo加速保存与加载checkpoint 背景 当前,大模型训练往往使用成百上千加速卡训练几周到几个月不等。在训练过程中,故障导致训练中断经常发生。训练程序一般采用周期checkpoint方案来将训练状态持久化到存储,当发生故障时,训练程序能恢复到故障之前的模型和优化