检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通用计算增强型 | c6.4xlarge.4 | 16vCPUs | 64GB 镜像:EulerOS 2.5 单队列随机读 fio命令: fio -direct=1 -iodepth=1 -rw=randread -ioengine=libaio -bs=4k -size=10G -numjobs
通用计算增强型 | c6.4xlarge.4 | 16vCPUs | 64GB 镜像:EulerOS 2.5 单队列随机读 fio命令: fio -direct=1 -iodepth=1 -rw=randread -ioengine=libaio -bs=4k -size=10G -numjobs
通过AITurbo加速保存与加载checkpoint 背景 当前,大模型训练往往使用成百上千加速卡训练几周到几个月不等。在训练过程中,故障导致训练中断经常发生。训练程序一般采用周期checkpoint方案来将训练状态持久化到存储,当发生故障时,训练程序能恢复到故障之前的模型和优化器的状态继续训练
通过跨服务器迁移数据至SFS Turbo(rclone工具) 方案概述 用户可以将本地NAS存储中的数据,使用rclone工具通过公网或内网迁移至云上SFS Turbo中,进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器,将本地NAS存储中的数据迁移至云上
所有访问NFS服务器的客户端的用户都映射为匿名用户。'
成本构成 使用高性能弹性文件服务SFS Turbo时,成本主要包括两个方面: 资源成本:各类资源的成本,这取决于高性能弹性文件服务的计费项,详细介绍请参见计费项。 运维成本:使用高性能弹性文件服务SFS Turbo过程中产生的人力成本。
-time_based=1 --group_reporting=1 --name=iops_fio --directory=/mnt/sfs-turbo/ --rw=read --bs=4k --size=1G --iodepth=128 --runtime=120 --numjobs
计费项 高性能弹性文件服务不同类型的SFS Turbo文件系统,如20MB/s/TiB、40MB/s/TiB、125MB/s/TiB都可按需计费,计费因子都是存储空间费用;其中SFS Turbo文件系统的HPC缓存型除存储空间计费外,还可以按“带宽大小”来计费。 表1 SFS Turbo
修改文件系统绑定的安全组 功能介绍 修改SFS Turbo文件系统绑定的安全组。修改安全组为异步任务,可以通过“查询单个文件系统”返回的子状态字段“sub_status”来判断是否修改安全组状态,子状态为“232”即为修改安全组成功。 调试 您可以在API Explorer中调试该接口
云服务器无法访问文件系统 现象描述 云服务器无法访问文件系统,提示被拒绝,导致该云服务器的所有业务异常。 可能原因 云服务器在强制umount之后,无法挂载。 定位思路 根据可能原因进行故障排查。 解决方法 云服务器在强制umount之后,无法重新挂载访问。
挂载至两种服务器系统的文件系统无法写入数据 现象描述 当将同一个文件系统分别挂载到已创建的Linux云服务器和Windows云服务器后,在Windows云服务器上无法对在Linux云服务器上创建的文件写入数据。
高性能弹性文件服务支持哪些访问协议?
管理目录配额 配额具体操作请参考《高性能弹性文件服务API参考》 > API > 目录管理。 添加与修改配额 只能对空目录设置配额。 只能对配额目录修改配额,配额需高于原配额。 必须要提供的3个参数: 配额路径:目录绝对路径。
表5 Metadata 参数 是否必选 参数类型 描述 crypt_key_id 否 String 要创加密文件系统,该字段传KMS服务专业版密钥的ID。 dedicated_flavor 否 String 创专属文件系统,要创建的虚拟机的规格。
URI GET /v1/{project_id}/sfs-turbo/jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id job_id 是 String job ID 请求参数 表2 请求Header参数 参数
安全 责任共担 身份认证与访问控制 数据保护技术 审计 监控安全风险
数据保护技术 数据加密 高性能弹性文件服务支持服务器端加密功能,文件存储会对存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。 数据备份 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据
VPC的安全组是否影响高性能弹性文件服务的使用? 安全组是一个逻辑上的分组,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。安全组创建后,用户可以在安全组中定义各种访问规则,当弹性云服务器加入该安全组后,即受到这些访问规则的保护。
通过IAM服务获取到的Token有效期为24小时,需要使用同一个Token鉴权时,可以先将Token缓存,避免频繁调用。 涉及API 当您使用Token认证方式完成认证鉴权时,需要获取用户Token并在调用接口时增加“X-Auth-Token”到业务接口请求消息头中。
权限管理 创建IAM用户并授权使用SFS Turbo 自定义创建SFS Turbo文件系统策略 管理SFS Turbo文件系统权限