检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何确认Linux云服务器上的SFS Turbo文件系统处于可用状态? 以root用户登录云服务器,执行“showmount -e 文件系统域名或IP”命令,回显如下内容,则代表命令中“文件系统域名或IP”对应的SFS Turbo文件系统处于可用状态。 Export list for
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
Turbo文件系统最多支持同时挂载到多少台云服务器上? 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB、HPC缓存型(停售)等类型的SFS Turbo文件系统最多支持同时挂载到3000台云服务器上; 标准型、标准
FS Turbo中,进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器,将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需允许访问。本地服务器用于访问本地NAS存储,云上服务器用于访问云上SFS Turbo。 通过公网将云上NAS存储数据迁移至SFS
挂载(文件系统与云服务器必须归属在同一VPC下)。 否 => 原因2。 原因2:执行挂载命令的云服务器和被挂载的文件系统不在同一VPC下。 登录管理控制台,查看云服务器归属的VPC和文件系统归属的VPC是否相同。 是 => 原因3。 否 => 重新选择和云服务器相同VPC的文件系统进行挂载。
ConfigNasTarget objects 配置 nas 后端的信息 表6 ConfigNasTarget 参数 是否必选 参数类型 描述 name 是 String nas 配置名 type 是 String nas 配置协议类型 url 是 String nas 配置 ip 响应参数 状态码:
fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux CentOS系统为例说明:
fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux CentOS系统为例说明:
如何在高性能弹性文件服务SFS Turbo和云硬盘EVS之间进行数据迁移? 将文件系统和云硬盘同时挂载至同一云服务器上,再手动进行数据复制即可。 父主题: SFS Turbo迁移类问题
/mnt/dst 在Linux云服务器中执行以下命令安装rsync工具。 yum install rsync 图1 安装rsync工具 源端服务器和目的端服务器均需要安装rsync工具,否则将会报错。 安装完成后,可以输入以下命令查询rsync工具的安装和版本情况。 rsync -version
存储(NAS),可为云上多个弹性云服务器ECS,容器CCE&CCI,裸金属服务器BMS提供共享访问。 如何迁移? SFS Turbo的文件系统需要挂载到弹性云服务器、容器或裸金属服务器上,对于SFS Turbo和OBS之间的数据迁移,可以理解为服务器与OBS或者容器与OBS之间的
表1 资源规划 产品 配置示例 说明 弹性云服务器 ECS 规格:8vCPUs | 16GB | c7.2xlarge.2 操作系统:Linux 区域:华北-北京四 VPC名称:VPC1 已创建/mnt/src和/mnt/dst的目录 操作步骤 登录弹性云服务器管理控制台。 登录已
务拓展。 此方案通过创建一台Linux操作系统的云服务器,来连接SFS容量型文件系统和SFS Turbo文件系统的通信。 约束与限制 仅支持使用Linux系统的云服务器进行数据迁移。 Linux系统云服务器、SFS容量型文件系统和SFS Turbo文件系统需在同一VPC下。 支持实现增量迁移,即只迁移发生变化的数据。
安全组是一个逻辑上的分组,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。安全组创建后,用户可以在安全组中定义各种访问规则,当弹性云服务器加入该安全组后,即受到这些访问规则的保护。安全组的默认规则是在出方向上的数据报文全部放行,安全组内的弹性云服务器无需添加规则即可互相访问。系统会为每个云
仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。 文件访问模式同步操作后不再保持一致。 支持实现增量迁移,即只迁移发生变化的数据。 操作前提 已经完成云专线的购买和配置,详情请参考《云专线服务用户指南》。 已创建一台操作系统为Linux的云服务器。 已创建SFS
文件系统挂载超时 现象描述 使用mount命令挂载文件系统到云服务器,云服务器系统提示“timed out”。 可能原因 原因1:网络状态不稳定。 原因2:网络连接异常。 定位思路 排除网络问题后,重试挂载命令。 解决方法 原因1和原因2:网络状态不稳定;网络连接异常。 修复网络,网络修复完成后重新执行挂载。
高性能弹性文件服务支持服务器端加密功能,文件存储会对存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。 数据备份 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。当您的文
Service Turbo,SFS Turbo)提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器(Elastic Cloud Server,ECS)、容器(CCE&CCI)、裸金属服务器(BMS)提供共享访问。如图1所示。 图1 访问高性能弹性文件服务 与传统的文件共享存储相比,高性能弹性文件服务具有以下优势:
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
Turbo)提供按需扩展的高性能文件存储,支持同时为多个弹性云服务器(Elastic Cloud Server, ECS)提供文件共享服务。高性能弹性文件服务提供标准的文件访问协议NFS(仅支持NFSv3)和SMB,用户可以将现有应用和工具与高性能弹性文件服务无缝集成。 高性能弹性文件