检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 选择“网络 > VPC终端节点 > 终端节点”。 在“终端节点”页面,单击“购买终端节点”。 进入“购买终端节点”页面。 图2 购买终端节点 根据界面提示配置参数。 表1 终端节点配置参数 参数 说明 区域 终端节点所在区域,需要与规划的通用文件系统所在区域保持一致。
虚拟专用网络、云专线线下节点通过终端节点高速访问SFS Turbo HPC型文件系统。 SFS Turbo HPC型文件系统的挂载点使用的是域名,IDC环境如果不适用云上DNS则无法解析SFS Turbo的域名,导致此场景无法使用。 前提条件 本地数据中心已通过虚拟专用网络或者云专线与VPC连通。
现象描述 仅挂载至一种服务器系统的文件系统出现写入数据失败的情况。 可能原因 服务器的安全组配置不正确,需要与文件系统通信的端口未开放。 定位思路 前往安全组控制台查看目标服务器的端口开放情况,并正确配置。 解决方法 登录弹性云服务器控制台。 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。
登录ECS。可以通过管理控制台或跨平台远程访问工具(例如PuTTY)登录已购买的ECS。 图3 登录ECS 查看ECS是否安装NFS客户端。执行命令:rpm -qa|grep nfs。 图4 查看ECS是否安装NFS客户端 挂载文件系统。创建用于挂载文件系统的本地路径:mkdir 本地路径。挂载文件系统:mount
System),通用Internet文件系统,是一种网络文件系统访问协议。通过CIFS协议,可实现Windows系统主机之间的网络文件共享。Windows客户端建议使用CIFS协议。 √ √ 请提交工单申请 × 配置多VPC访问 可以为文件系统配置多个VPC,以使归属于不同VPC的云服务器
share_proto 是 String 文件系统共享协议,有效值为NFS。NFS(Network File System),即网络文件系统。一种使用于分散式文件系统的协议,通过网络让不同的机器、不同的操作系统能够彼此分享数据。 share_type 是 String 文件系统类型,有效值为ST
TCP协议”,同时选中“使用硬装载”,如图6和图7所示。 图6 网络文件系统服务 图7 NFS客户端属性 挂载文件系统前请确认云服务器上已配置了用于内网解析文件系统域名的DNS服务器的IP地址,具体配置操作请参见配置DNS。 在Windows 2012的CMD命令框执行如下命令(
已完成创建文件系统,并获取到文件系统的挂载地址。 存在至少一台与文件系统所属VPC相同的云服务器。 云服务器(ECS)上已配置了用于内网解析文件系统域名的DNS服务器的IP地址,具体配置操作请参见配置DNS。 需要使用Administrator管理员权限进行挂载,不支持切换至其他用户挂载。 约束与限制
Turbo文件系统,要使用加密传输功能需要先安装stunnel。请执行以下命令进行安装: ubuntu或Debian操作系统安装命令 sudo apt update sudo apt-get install stunnel CentOS,EulerOS或HCE OS操作系统安装命令 sudo yum install
执行如下命令,确认DNS的正确性: nslookup 文件系统域名 确认解析出来的IP地址是否为100网段。 是 => DNS配置正确,排查其他可能原因。 否 => DNS配置不正确,请参考配置DNS章节重新配置DNS。 原因6:将CIFS类型的文件系统挂载至Linux操作系统的云服务器。 CIFS类型的文件
网段类型 网段类型配置可以采用两种配置方式。 * : 代表任何ip地址 CIDR格式网段 : CIDR格式地址使用可变长度子网掩码来表示 IP 地址中网络地址位和主机地址位之间的比例。 CIDR IP地址在普通IP地址的基础上附加了一个后缀值,这个后缀值就是网络地址前缀位数。例如,192
Integer 租户允许的快照容量大小。 id String 阈值对应租户的ID。 share_networks Integer 租户允许的共享网络数量。 响应样例 { "quota_set": { "gigabytes": -1, "snapshots": -1,
挂载NFS文件系统到云服务器(Windows) 挂载CIFS文件系统到云服务器(Windows) VPC为弹性云服务器构建隔离的、用户自主配置和管理的虚拟网络环境,提升用户云中资源的安全性,简化用户的网络部署。 云服务器无法访问不在同一VPC下的文件系统,使用弹性文件服务时需将文件系统和云服务器归属于同一VPC下。
已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux CentOS系统为例说明: 在官网下载fio。 yum install fio 安装libaio引擎。
已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux CentOS系统为例说明: 在官网下载fio。 yum install fio 安装libaio引擎。
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
进入页签“绑定后端存储”,单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS桶”中,填写如下表所示参数。 表1 绑定OBS桶配置参数 参数 含义 限制 配置后可编辑 联动目录名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录,该目录将绑定对应的OBS桶,且该目录名称不能和已有目录重名。
ConfigNasTarget objects 配置 nas 后端的信息 表6 ConfigNasTarget 参数 是否必选 参数类型 描述 name 是 String nas 配置名 type 是 String nas 配置协议类型 url 是 String nas 配置 ip 响应参数 状态码:
请参见字段说明。 为获得最优的系统性能,建议按照“配置样例”进行配置。如果业务需要,您也可以根据实际情况自定义部分挂载参数,但变更配置后将会在一定程度上影响系统性能。 单击“Esc”,并输入:wq,保存文件并退出。 完成上述配置后,当云服务器重启时,系统会从/etc/fstab文