检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SFS Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。
SFS Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。
-name=randread_test 其中,“/mnt/sfsturbo/fio_test_01 -name”为待测试的目标文件的挂载路径,需具体到文件名,即这里要测试的是“/mnt/sfsturbo”目录下的“fio_test_01 -name”文件,请根据实际填写。 fio结果:
-name=randread_test 其中,“/mnt/sfsturbo/fio_test_01 -name”为待测试的目标文件的挂载路径,需具体到文件名,即这里要测试的是“/mnt/sfsturbo”目录下的“fio_test_01 -name”文件,请根据实际填写。 fio结果:
自动续费 自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致文件系统被自动删除。自动续费的规则如下所述: 以文件系统的到期日计算第一次自动续费日期和计费周期。 文件系统自动续费周期以您选择的续费时长为准。例如,您选择了3个月,文件系统即在每次到期前自动续费3个月。 在文
更新后端存储自动同步策略 功能介绍 更新后端存储自动同步策略 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API
支持实现增量迁移,即只迁移发生变化的数据。 如果存在迁移多层级目录且小文件数量较多的情况时,rsync迁移效率将会非常低,建议使用多进程脚本解决或rclone工具迁移。 前提条件 已经完成云专线的购买和配置,详情请参考《云专线服务用户指南》。 已创建一台操作系统为Linux的云服务器。
、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板后,根据具体需求编辑策略内容;也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见:创建自定义策略。本章为您介绍常用的SFS Turbo自定义策略样例。 SFS Turbo自定义策略样例
介绍按需计费SFS Turbo资源的计费规则。 适用场景 按需计费适用于具有不能中断的短期、突增或不可预测的应用或服务,例如电商抢购、临时测试、科学计算。 适用计费项 SFS Turbo文件系统默认为按需计费模式,按您购买时选择的存储容量和时长收费,而不是以实际的使用量收费(其中
如何进行续费? 账户欠费后如未及时还款,可能会导致账户被冻结或订单取消。 操作步骤 登录管理控制台。 单击页面右上角的“费用 > 续费管理”进入续费管理页面。 在“续费管理”页面,找到待续费的资源,单击操作列的“续费”。 根据页面提示完成支付。 支付成功后,系统自动扣除欠费。 更
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
文件系统自动断开挂载 问题描述 文件系统与服务器的连接断开,需要重新挂载。 可能原因 没有配置自动挂载,重启服务器后会自动断开。 解决方法 参考自动挂载文件系统,在云服务器设置重启时进行自动挂载。 提交工单 如果上述方法均不能解决您的疑问,请提交工单寻求更多帮助。
性能调优 SFS Turbo性能测试 SFS Turbo时延测试 提升单客户端访问SFS Turbo的性能(Linux)
通过AITurbo加速保存与加载checkpoint 背景 当前,大模型训练往往使用成百上千加速卡训练几周到几个月不等。在训练过程中,故障导致训练中断经常发生。训练程序一般采用周期checkpoint方案来将训练状态持久化到存储,当发生故障时,训练程序能恢复到故障之前的模型和优化
} } } } 到这里为止这个请求需要的内容就具备齐全了,您可以使用curl、Postman或直接编写代码等方式发送请求调用API。对于获取用户Token接口,返回的响应消息头中的“x-subject-token”就是需要获取的用户Toke
支持文件系统挂载的操作系统 已通过兼容性测试的操作系统如表1所示。 表1 支持文件系统挂载的操作系统列表 类型 版本范围 CentOS CentOS 5,6,7 for x86 Debian Debian GNU/Linux 6,7,8,9 for x86 Oracle Oracle
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略”,进入自定义策略配置页面。
xxx为线下专线网关或VPN网关的IP地址。 不同操作系统的Route命令格式存在差异,请以用户实际操作系统对应的Route命令格式为准。 测试VPCEP是否可以正常访问域名 dig 域名@xx.xx.xx.xx xx.xx.xx.xx为dns对应终端节点的IP。 如果返回可以拿到sfs
如何进行续费? 账户欠费后如未及时还款,可能会导致账户被冻结或订单取消。 操作步骤 登录管理控制台。 单击页面右上角的“费用 > 续费管理”进入续费管理页面。 在“续费管理”页面,找到待续费的资源,单击操作列的“续费”。 根据页面提示完成支付。 支付成功后,系统自动扣除欠费。 更
运行软件而定义API的一系列互相关联的标准的总称。POSIX标准意在期望获得源代码级别的软件可移植性。也就是为一个POSIX兼容的操作系统编写的程序,可以在任何其它的POSIX操作系统上编译执行。 NFS NFS(Network File System),即网络文件系统。一种使用