检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SFS Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。
SFS Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。
4版本之后的客户端上挂载NFSv3协议的文件系统,使用cp或dd等方式触发顺序读业务场景,读带宽与每秒请求数明显不符合预期。 问题原因 预读机制:访问内存的速度比访问硬盘或者网络存储快很多,如果每一次访问文件数据都要从磁盘读取数据,就会导致非常严重的时延及等待问题,因此Linux为了提高读取性能,
、图片渲染这些。 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明: 高性能计算:主要是高速率、高IOPS的需求,用于作为高性能存储,比如工业设计、能源勘探这些。 容量 PB级别 EB级别 TB级别
问”。开启方法请参见查看或修改IAM用户信息。 在调用接口的时候,需要使用AK/SK进行签名验证。AK/SK获取步骤如下: 登录控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 单击“管理访问密钥”。 在左侧导航栏单击“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。
用户。本文将介绍按需计费SFS资源的计费规则。 适用场景 按需计费适用于具有不能中断的短期、突增或不可预测的应用或服务,例如电商抢购、临时测试、科学计算。 适用计费项 SFS容量型 默认为按需计费模式。即创建文件系统免费,按实际使用的存储容量和时长收费,以小时为单位,按每小时整点
名称,例如example.com:/xxx。 如图1所示。 说明: x是数字或字母。 由于挂载地址名称较长,需要拉宽该栏以便完整显示。 将鼠标悬停在挂载地址上可显示完整的挂载命令。 本地路径 云服务器上用于挂载文件系统的本地路径,例如“/local_path”。 图1 挂载地址
xxx为线下专线网关或VPN网关的IP地址。 不同操作系统的Route命令格式存在差异,请以用户实际操作系统对应的Route命令格式为准。 测试VPCEP是否可以正常访问域名 dig 域名@xx.xx.xx.xx xx.xx.xx.xx为dns对应终端节点的IP。 如果返回可以拿到sfs
其他操作 SFS Turbo性能测试 使用非root的普通用户挂载文件系统到Linux云服务器 挂载NFS文件系统子目录到云服务器(Linux) 数据迁移
example.com/v3/projects" } } 从控制台获取项目ID 从控制台获取项目ID的步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 父主题: 附录
您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响,默认是16Gbit/s,如果导入导出速度受到OBS读写带宽上限影响,可提交工单联系技术支持人员申请调大OBS服务的读写带宽。 父主题: 实施步骤
SFS容量型文件系统执行命令:mount -o nolock 挂载地址 X: 空闲盘盘符:未在使用的盘符,如E盘符、X盘符等。 可以将鼠标移动至挂载地址,通过单击挂载地址后面的图标复制获取。如果出现如图8所示字段表示挂载成功。 图8 执行命令 挂载成功后,在“这台电脑”界面中
登录管理控制台,选择“存储 > 弹性文件服务 SFS”。 进入文件系统列表页面。 单击文件系统名称,进入文件系统详情页。在如下图所示位置单击鼠标左键,复制资源ID。 图1 获取资源ID 在控制台顶部菜单栏中选择“费用 > 费用账单”。 进入费用账单页面。 选择“流水和明细账单 >
OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。
登录管理控制台,在顶部菜单栏中选择“费用 > 费用账单”。 进入费用账单消费汇总页面。 选择“流水和明细账单 > 明细账单”,在如下图所示位置单击鼠标左键,复制资源ID。 图1 复制资源ID 登录管理控制台,选择“存储 > 弹性文件服务 SFS”。 进入文件系统列表页面。 选择资源所在的
如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。 在除中国大陆以外的亚太地区有业务的用户,可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户,可以选择“非洲-约翰内斯堡”区域。
用状态等。 常用操作 管理文件系统 容量调整 网络配置 配置多VPC 配置多账号访问 配置DNS 资源管理 加密文件系统 备份文件系统 性能测试 迁移数据 监控与审计 查看支持的监控指标 创建告警规则 查看审计日志 02 购买 您可以通过弹性文件服务计费模式、价格详情等了解弹性文
返回弹性文件服务界面,确认创建新文件系统是否成功。 文件系统状态要经过“正在创建”、“可用”、“正在恢复”和“可用”四个状态。支持即时恢复特性的情况下由于速度很快,可能无法看到“正在恢复”状态。当状态从“正在创建”变更为“可用”时表示文件系统创建成功。当状态从“正在恢复”变更为“可用”时表示备份数据已成功恢复到创建的文件系统中。
Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置