检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SFS容量型文件系统安全组要求:安全组需要用户自行添加对应的入方向和出方向访问规则,配置方法请参见添加安全组规则。SFS容量型文件系统中的NFS协议所需要入方向的端口号为111、2049、2050、2051、2052。
SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。
>783fc6652cf246c096ea836694f71855</ID> </Owner> <Buckets> <Bucket> <Name>examplebucket01</Name> <CreationDate>2018-06-21T09
方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问
适用计费项 SFS Turbo(HPC缓存型除外) SFS Turbo 变更计费模式 支持变更为按需计费模式。 但包年/包月资费模式到期后,按需的资费模式才会生效。 包年/包月转按需 支持变更为包年/包月计费模式。
mount -t nfs -o vers=3,timeo=600,noresvport,nolock 文件系统挂载地址 /mnt/dst 在Linux云服务器中执行以下命令安装rsync工具。
其他区域请选择使用SFS容量型和SFS Turbo文件系统。 SFS容量型和SFS Turbo文件系统不需要创建VPC终端节点。 图1 流程概要图 前提条件 创建通用文件系统前,确认已有可用的VPC。
本文以SFS Turbo性能型,云服务器规格如下为例说明。
mount -t nfs -o vers=3,timeo=600,noresvport,nolock 本地NAS挂载地址 /mnt/src 输入以下挂载命令,用于访问云上文件系统。
表2列出了SFS容量型文件系统常用操作与系统策略的授权关系,您可以参照该表选择合适的系统策略。
mount -t nfs -o vers=3,timeo=600,noresvport,nolock 本地NAS挂载地址 /mnt/src 输入以下挂载命令,用于访问云上文件系统。
mount -t nfs -o vers=3,timeo=600,noresvport,nolock 挂载地址 本地路径 挂载完成后,执行如下命令,查看已挂载的文件系统。 mount -l 如果回显包含如下类似信息,说明挂载成功。
mount -t nfs -o vers=3,timeo=600,noac,lookupcache=none,noresvport,nolock 共享路径 本地路径 父主题: 网络类
操作场景 现支持为SFS容量型文件系统配置多个VPC,以使归属于不同VPC的云服务器,只要所属的VPC被添加到文件系统的VPC列表下,或云服务器被添加到了VPC的授权地址中,则实际上归属于不同VPC的云服务器也能共享访问同一个文件系统。
SFS自定义策略样例(以SFS容量型文件系统为例) 示例1:授权用户创建文件系统。
mount -t nfs sfs-nas1.xx-xxxxx-xx.xxxxxxxxxx.com:/share-xxxx/Tom /home/Tom 图2 挂载目录 执行以下命令可以查看到该子目录已经成功挂载至Tom的主目录中。如图3所示。
mount -t nfs -o vers=3,nolock,tcp,port=[本地监听端口],mountport=[本地监听端口] 127.0.0.1:/ [挂载点] 加密挂载完成后,在此挂载点上的所有文件操作与非加密场景的文件操作一致。
在“关联sfsturbo”弹窗中,选择创建资源中创建的SFS Turbo HPC型文件系统。 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。
挂载文件系统:mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp 挂载地址 本地路径。验证文件系统是否挂载成功:mount -l。 图5 挂载文件系统 挂载地址可以从控制台文件系统详情中复制获取。
input/datasets/", "dest_target" : "sfs-link-directory", "dest_prefix" : "input/datasets/", "message" : "", "start_time" : "2023-09-02T15