检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过云专线迁移数据至SFS Turbo(rclone工具) 方案概述 用户可以将本地NAS存储中的数据,通过云专线和rclone工具迁移至云上SFS Turbo文件系统中,进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器,来连接本地NAS存储以及云上SFS
SFS Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。
SFS Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。
在Linux云服务器中执行以下命令安装rsync工具。 yum install rsync 图1 安装rsync工具 源端服务器和目的端服务器均需要安装rsync工具,否则将会报错。 安装完成后,可以输入以下命令查询rsync工具的安装和版本情况。 rsync -version 图2 查看工具安装情况 您可以执
通过跨服务器迁移数据至SFS Turbo(rclone工具) 方案概述 用户可以将本地NAS存储中的数据,使用rclone工具通过公网或内网迁移至云上SFS Turbo中,进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器,将本地NAS存储中的数据迁
-name=randread_test 其中,“/mnt/sfsturbo/fio_test_01 -name”为待测试的目标文件的挂载路径,需具体到文件名,即这里要测试的是“/mnt/sfsturbo”目录下的“fio_test_01 -name”文件,请根据实际填写。 fio结果:
-name=randread_test 其中,“/mnt/sfsturbo/fio_test_01 -name”为待测试的目标文件的挂载路径,需具体到文件名,即这里要测试的是“/mnt/sfsturbo”目录下的“fio_test_01 -name”文件,请根据实际填写。 fio结果:
Server, ECS)提供文件共享服务。高性能弹性文件服务提供标准的文件访问协议NFS(仅支持NFSv3)和SMB,用户可以将现有应用和工具与高性能弹性文件服务无缝集成。 高性能弹性文件服务提供简单易用的操作界面,用户可以快捷地创建和管理文件系统,无需操心文件系统的部署、扩展和优化等运维事务。
不同方式支持的操作系统、迁移数据量、操作简易程度存在差异,推荐您使用obsutil工具进行数据迁移。 为了节省您的开支,建议您配置内网DNS,通过华为云内网完成数据迁移。具体配置方法,请参见通过内网访问OBS。 表1 OBS提供的数据迁移工具 工具 支持的操作系统类型 (支持的具体版本参考对应方式的指导文档)
timeo=600,noresvport,nolock,tcp 文件系统挂载地址 /mnt/dst 在Linux云服务器中执行以下命令安装rclone工具。 wget https://downloads.rclone.org/v1.53.4/rclone-v1.53.4-linux-amd64
介绍按需计费SFS Turbo资源的计费规则。 适用场景 按需计费适用于具有不能中断的短期、突增或不可预测的应用或服务,例如电商抢购、临时测试、科学计算。 适用计费项 SFS Turbo文件系统默认为按需计费模式,按您购买时选择的存储容量和时长收费,而不是以实际的使用量收费(其中
性能调优 SFS Turbo性能测试 SFS Turbo时延测试 提升单客户端访问SFS Turbo的性能(Linux)
支持文件系统挂载的操作系统 已通过兼容性测试的操作系统如表1所示。 表1 支持文件系统挂载的操作系统列表 类型 版本范围 CentOS CentOS 5,6,7 for x86 Debian Debian GNU/Linux 6,7,8,9 for x86 Oracle Oracle
通过云专线迁移数据至SFS Turbo(rclone工具) 通过云专线迁移数据至SFS Turbo(rsync工具) 无法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP,也可进行传输迁移。 通过跨服务器迁移数据至SFS Turbo(rclone工具) 父主题: SFS Turbo数据迁移实践
Turbo数据迁移实践方案概述 通过云专线迁移数据至SFS Turbo(rclone工具) 通过跨服务器迁移数据至SFS Turbo(rclone工具) 通过云专线迁移数据至SFS Turbo(rsync工具) 文件系统之间迁移数据
无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo,训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS,均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出,无需部署外部数据拷贝机器及工具。 4 冷热数据自动流动,降低存储成本
xxx为线下专线网关或VPN网关的IP地址。 不同操作系统的Route命令格式存在差异,请以用户实际操作系统对应的Route命令格式为准。 测试VPCEP是否可以正常访问域名 dig 域名@xx.xx.xx.xx xx.xx.xx.xx为dns对应终端节点的IP。 如果返回可以拿到sfs
如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据导入导出,您可借助外部工具将数据从OBS迁移到SFS Turbo中,操作指导请参考OBS和SFS之间的数据迁移,推荐使用obsutil工具。 父主题: 训练
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS
创建SFS Turbo告警规则 告警功能提供对监控指标的告警功能,用户可以对高性能弹性文件服务的核心监控指标设置告警规则,当监控指标触发用户设置的告警条件时,支持以邮箱、短信、HTTP、HTTPS等方式通知用户,让用户在第一时间得知云服务发生异常,迅速处理故障,避免因资源问题造成业务损失。