云服务器内容精选

  • 约束与限制 该约束仅针对本地挂载路径(即挂载点),不影响其他文件或目录。 SFS Turbo文件系统暂不支持挂载至Windows系统的云服务器。 使用 域名 (DNS)挂载SFS Turbo文件系统时,不支持跨区域(Region)挂载,但可以通过指定IP的方式跨区域(Region)挂载,网络互通方式具体参考云连接CC“跨区域VPC互通”。 本地挂载路径(即挂载点根目录)的atime、ctime和mtime属性是当前时间,每次查询根目录属性返回的都是服务端当时时间的值。 暂不支持修改本地挂载路径(即挂载点)的元数据,即不支持对挂载点的元数据做如下操作: - touch:更新文件的访问时间和修改时间 - rm:删除文件或目录 - cp:复制文件或目录 - mv:移动文件或目录 - rename:重命名文件或目录 - chmod:修改文件或目录的权限 - chown:修改文件或目录的所有者 - chgrp:修改文件或目录的所属组 - ln:创建硬链接 - link:创建硬链接 - unlink:删除硬链接
  • 相关信息 当您完成创建SFS Turbo文件系统、挂载SFS Turbo文件系统后,您还可以结合业务需求使用以下高阶功能。 备份:通过使用CBR备份能力,当您的SFS Turbo文件系统出现故障或SFS Turbo文件系统中的数据发生逻辑错误时(如误删数据、遭遇黑客攻击或病毒危害等),可快速使用备份恢复数据。 扩容:当您认为SFS Turbo文件系统的容量不足时,您可以通过执行扩容操作来增加SFS Turbo文件系统的容量。 存储联动:您可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入/导出任务实现数据同步。同时,您还可以配置缓存数据淘汰功能,及时将长期未访问的数据从SFS Turbo缓存中淘汰,释放SFS Turbo高性能缓存空间。
  • 步骤二:挂载SFS Turbo文件系统 当创建SFS Turbo文件系统成功后,您需要使用云服务器来挂载该SFS Turbo文件系统,以实现多个云服务器共享使用SFS Turbo文件系统的目的。 以root用户登录弹性云服务器 E CS 。可以通过管理控制台或跨平台远程访问工具(例如PuTTY)登录已购买的ECS。 安装NFS客户端。 安装NFS客户端。 执行如下命令查看系统(此处以CentOS为例)是否安装NFS软件包。 rpm -qa|grep nfs 如果回显如下信息,说明已经成功安装NFS软件包,执行解析域名步骤。如未显示,执行安装命令。 libnfsidmap nfs-utils 如果查看到未安装,执行如下命令。 sudo yum -y install nfs-utils 执行命令前要求云服务器已连接到互联网,否则安装NFS客户端失败。 查看是否能解析SFS Turbo文件系统共享路径中的域名。 nslookup SFS Turbo文件系统域名 SFS Turbo文件系统域名如:xxx.sfsturbo.internal(xxx为SFS Turbo文件系统ID)。SFS Turbo文件系统域名请从SFS Turbo文件系统的共享路径中获取。 无法使用nslookup命令时,需要先安装bind-utils软件包。(可通过执行yum install bind-utils命令安装) 解析成功,执行挂载NFS文件系统到根目录。 解析失败,请先完成DNS服务器IP地址的配置再执行挂载SFS Turbo文件系统的操作,具体配置操作请参见配置解析域名的DNS服务器。 挂载NFS文件系统到根目录。 mkdir 本地路径 mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp 挂载地址 本地路径 如果本地路径已挂载其他磁盘等资源,为被占用状态时,需要新建其它目录进行挂载(NFS客户端不会对重复挂载进行拦截,当重复挂载时会表现为最后一次成功挂载的信息)。 参数 说明 vers SFS Turbo文件系统版本,目前只支持NFSv3。取值:3。 timeo NFS客户端重传请求前的等待时间(单位为0.1秒)。建议值:600。 noresvport 指定NFS客户端向NFS服务端重新发起建立连接时使用新的TCP端口。 强烈建议使用noresvport参数,这可以保障网络发生故障恢复事件后文件系统服务不会中断。 nolock 选择是否使用NLM协议在服务器上锁定文件。当选择nolock选项时,锁对于同一主机的应用有效,对不同主机不受锁的影响。 tcp NFS客户端向服务器发起传输请求使用的协议,可以为UDP或者TCP。 挂载地址 该挂载地址的SFS Turbo文件系统类型为125MB/s/TiB,取值为xxx.sfsturbo.internal:/,xxx为SFS Turbo文件系统ID。 本地路径 云服务器上用于挂载SFS Turbo文件系统的本地路径。例如“/local_path”。 挂载完成后,执行如下命令,查看已挂载的SFS Turbo文件系统。 mount -l 如果回显包含如下类似信息,说明挂载成功。 挂载地址 on /local_path type nfs (rw,vers=3,timeo=600,nolock,addr=) (可选)配置fstab文件开机自动挂载SFS Turbo文件系统。 已挂载SFS Turbo文件系统的云服务器重启后,该云服务器上的挂载信息将会丢失,您可以通过在fstab文件中配置自动挂载来保证云服务器重启时自动挂载SFS Turbo文件系统。 执行以下命令编辑“/etc/fstab”文件。 vi /etc/fsta 在文件的最后新增要挂载的SFS Turbo文件系统信息,配置样例如下: 挂载地址 /local_path nfs vers=3,timeo=600,noresvport,nolock,tcp 0 0 其中,“挂载地址”和“/local_path”需根据实际情况进行修改。挂载地址可以从SFS Turbo文件系统的“共享路径”一栏获取。具体字段说明如下所示。 参数 说明 挂载地址 SFS Turbo文件系统的挂载地址。设置为挂载NFS文件系统到根目录中mount命令中的挂载地址。 /local_path 挂载点,即云服务器上创建的挂载SFS Turbo文件系统的目录。设置为挂载NFS文件系统到根目录中mount命令中的本地路径。 nfs 挂载类型,指SFS Turbo文件系统或分区类型。 vers=3,timeo=600,noresvport,nolock,tcp 用于设置挂载的参数,多个选项之间以英文逗号进行分隔。 vers:SFS Turbo文件系统版本,取值为3代表NFSv3。 timeo:NFS客户端重传请求前的等待时间(单位为0.1秒)。建议值:600。 noresvport:指定NFS客户端向NFS服务端重新发起建立连接时使用新的TCP端口。强烈建议使用noresvport参数,可保障网络发生故障恢复事件后文件系统服务不会中断。 nolock:选择是否使用NLM协议在服务器上锁文件。当选择nolock选项时,锁对于同一主机的应用有效,对不同主机不受锁的影响。 tcp:TCP传输协议。 0 大于0的整数:让备份程序dump备份SFS Turbo文件系统。数字越小越先备份。 0:不备份SFS Turbo文件系统。 0 根目录分区默认设置为1,其他分区从2开始:在云服务器启动时用fsck程序检查SFS Turbo文件系统以及以什么顺序检查,数字越小越先检查。 0:不检查SFS Turbo文件系统。 为获得最优的系统性能,建议按照“配置样例”进行配置。如果业务需要,您也可以根据实际情况自定义部分挂载参数,但变更配置后将会在一定程度上影响系统性能。 单击“Esc”,并输入:wq,保存文件并退出。 (可选)执行以下命令,查看修改后的fstab文件内容。 cat /etc/fstab 图1 修改后的fstab文件 了解详细挂载步骤请参考挂载SFS Turbo文件系统到Linux云服务器。
  • 步骤一:创建SFS Turbo文件系统 文件系统是SFS Turbo中存储文件的容器。您需要先创建一个SFS Turbo文件系统,然后才能在SFS Turbo中存储数据。 本步骤仅针对示例中的关键参数进行设置和介绍,其他参数保持默认,更多创建SFS Turbo文件系统的详细信息请参见创建SFS Turbo文件系统。 登录高性能弹性文件服务控制台。 选择与ECS相同的区域,SFS Turbo文件系统只有与ECS归属在同一区域和同一VPC下,才能挂载成功。本例选择“华北-北京四”区域。 单击“创建文件系统”,进入创建SFS Turbo文件系统页面。 根据页面提示填写信息,具体参数说明如下表所示。 参数 示例 说明 计费模式 按需计费 选择计费模式为包年/包月或按需计费。详细的服务资费费率标准请参见价格说明。 区域 华北-北京四 用户所在的区域。 请选择和云服务器同一个区域。 可用区 可用区1 可用区指在同一区域下,电力、网络隔离的物理区域,可用区之间内网互通,不同可用区之间物理隔离。 如果您需要较低的网络时延,建议您选择和云服务器相同的可用区。 类型 125MB/s/TiB 选择“125MB/s/TiB”类型,创建成功后不支持更换存储类型,如需更换只能新创建另一存储类型的SFS Turbo文件系统,请根据业务情况事先规划存储类型。 更多信息,请参见文件系统类型。 容量(TB) 1.2 当前SFS Turbo文件系统的最大容量。 当SFS Turbo文件系统的实际使用容量达到该值时,您将无法对SFS Turbo文件系统执行写入操作,需要进行扩容。暂无法对SFS Turbo文件系统进行缩容操作,请根据实际需要设置SFS Turbo文件系统的容量。 125MB/s/TiB类型的SFS Turbo文件系统的容量支持范围:1.2TB-1PB。 企业项目 default 仅当使用企业类型的账号创建SFS Turbo文件系统时,会显示该参数。 用于按项目统一管理云资源。 选择网络 VPC:vpc-default 子网:subnet-default(192.168.0.0/24) 选择与云服务器相同的VPC及其子网(IP地址块)。 相关信息请进入弹性云服务器控制台列表,单击该云服务器进入基本信息,再单击“虚拟私有云”后的字段进入虚拟私有云列表,获取VPC及其子网。 名称 sfs-turbo-b6a6 用户自定义SFS Turbo文件系统的名称。 创建的SFS Turbo文件系统名称只能由英文字母、数字、下划线和中划线组成,输入长度需大于等于4个字符并小于等于64个字符,并以字母开头。 配置完成后,单击“立即创建”。 核对SFS Turbo文件系统信息,确认无误后单击“提交”。 根据页面提示,完成创建后,返回SFS Turbo文件系统列表页面。您可以看到SFS Turbo文件系统的“状态”显示为“可用”,表示SFS Turbo文件系统创建成功。如果“状态”为“创建失败”,请查看SFS Turbo创建失败处理。 在SFS Turbo文件系统列表中保存好共享路径中的挂载地址,用于挂载SFS Turbo文件系统。
  • 准备工作 注册账号并实名认证。 在购买SFS Turbo之前,请先 注册华为账号 并开通华为云、实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 为账户充值。 请保证账户有足够的资金,以免使用SFS Turbo失败。具体操作,请参见账户充值。 创建VPC和ECS 创建SFS Turbo文件系统前,确认是否已创建VPC和ECS,并将ECS归属到已创建的VPC下。如果VPC不一致,SFS Turbo可通过VPC对等连接建立与ECS的通信。 创建VPC。 参考“创建虚拟私有云基本信息及默认子网”章节创建VPC。 创建ECS。 参考“快速购买和使用Linux ECS”章节在华北-北京四购买ECS,同时将ECS归属到已创建的VPC下。
  • 停售影响 正式停售后,用户将无法再新购买SFS Turbo 标准型、标准型-增强版、性能型、性能型增强版规格,推荐您在相应区域购买SFS Turbo其他规格文件系统:20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB,具有更优惠的价格和更高的性能,详细介绍请参见文件系统类型。 已购买SFS Turbo停售规格的用户可以继续正常使用、续费、扩容和删除。 如您有任何问题,可随时通过提交工单解决。
  • 操作步骤 以root用户登录弹性云服务器。 若以非root用户登录弹性云服务器,具体操作请参考非root普通用户挂载SFS Turbo文件系统到Linux云服务器。 安装NFS客户端。 安装NFS客户端。 查看系统是否安装NFS软件包。 CentOS、Red Hat、Oracle Enterprise Linux、SUSE、Euler OS、Fedora或OpenSUSE系统下,执行如下命令: rpm -qa|grep nfs Debian或Ubuntu系统下,执行如下命令: dpkg -l nfs-common 不同操作系统回显会有所不同,如果回显如下类似信息,说明已经成功安装NFS软件包,执行3。如未显示,执行该步骤。 CentOS、Red Hat、Euler OS、Fedora或Oracle Enterprise Linux系统下,回显如下类似信息: libnfsidmap nfs-utils SUSE或OpenSUSE系统下,回显如下类似信息: nfsidmap nfs-client Debian或Ubuntu系统下,回显如下类似信息: nfs-common 如果查看到未安装,根据不同的操作系统,执行不同命令。 执行以下命令前要求云服务器已连接到互联网,否则安装NFS客户端失败。 CentOS、Red Hat、Euler OS、Fedora或Oracle Enterprise Linux系统下,执行如下命令: sudo yum -y install nfs-utils Debian或Ubuntu系统下,执行如下命令: sudo apt-get install nfs-common SUSE或OpenSUSE系统下,执行如下命令: zypper install nfs-client 执行如下命令,查看是否能解析文件系统共享路径中的域名。 nslookup 文件系统域名 文件系统域名如:xxx.sfsturbo.internal(xxx为文件系统ID)。文件系统域名请从文件系统的共享路径中获取。 无法使用nslookup命令时,需要先安装bind-utils软件包。(可通过执行yum install bind-utils命令安装) 解析成功,执行该步骤。 解析失败,请先完成DNS服务器IP地址的配置再执行挂载文件系统的操作,具体配置操作请参见配置解析域名的DNS服务器。 执行如下命令,创建用于挂载文件系统的本地路径。 mkdir 本地路径 如果本地路径已挂载其他磁盘等资源,为被占用状态时,需要新建其它目录进行挂载(nfs客户端不会对重复挂载进行拦截,当重复挂载时会表现为最后一次成功挂载的信息)。 执行如下命令,将文件系统挂载到与文件系统所属VPC相同的云服务器上。文件系统目前仅支持NFSv3协议挂载到Linux云服务器。 其中变量说明见表1。 SFS Turbo文件系统执行命令:mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp 挂载地址 本地路径 已挂载文件系统的云服务器重启后,该云服务器上的挂载信息将会丢失,您可以通过在fstab文件中配置自动挂载来保证云服务器重启时自动挂载文件系统,具体操作请参见root用户自动挂载SFS Turbo文件系统到Linux云服务器。 表1 参数说明 参数 说明 vers 文件系统版本,目前只支持NFSv3。取值:3。 timeo NFS客户端重传请求前的等待时间(单位为0.1秒)。建议值:600。 noresvport 指定NFS客户端向NFS服务端重新发起建立连接时使用新的TCP端口。 强烈建议使用 noresvport 参数,这可以保障网络发生故障恢复事件后文件系统服务不会中断。 lock/nolock 选择是否使用NLM协议在服务器上锁文件。当选择nolock选项时,锁对于同一主机的应用有效,对不同主机不受锁的影响。建议值:nolock。如不加此参数,则默认为lock,就会发生其他服务器无法对此文件系统写入的情况。 proto NFS客户端向服务器发起传输请求使用的协议,可以为UDP或者TCP。 当前通用文件系统不支持UDP传输协议,需要设置为TCP传输协议,即proto=tcp。 挂载地址 SFS Turbo标准型、标准型-增强版、性能型、性能型-增强版文件系统的格式为:文件系统IP:/,例如192.168.0.0:/。 SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB和HPC缓存型文件系统的格式为:域名地址:/,例如xxx.sfsturbo.internal:/。 如图1所示。 说明: x是数字或字母。 由于挂载地址名称较长,需要拉宽该栏以便完整显示。 本地路径 云服务器上用于挂载文件系统的本地路径,例如“/local_path”。 图1 挂载地址 挂载文件系统时,更多性能调优的挂载参数,可参考表2配置,各参数之间以逗号进行分隔。例如: mount -t nfs -o vers=3,timeo=600,nolock,rsize=1048576,wsize=1048576,hard,retrans=3,tcp,noresvport,ro,async,noatime,nodiratime 挂载地址 本地路径 表2 挂载参数 参数 说明 rsize 每次向服务器读取文件的最大字节数。实际数据小于或等于此值。rsize必须是1024倍数的正整数,小于1024时自动设为4096,大于1048576时自动设为1048576。默认时,服务器和客户端进行协商后设置。 建议设置为最大值1048576。 wsize 每次向服务器写入文件的最大字节数。实际数据小于或等于此值。wsize必须是1024倍数的正整数,小于1024时自动设为4096,大于1048576时自动设为1048576。默认时,服务器和客户端进行协商后设置。 建议设置为最大值1048576。 soft/hard 取值为soft,即软挂载方式挂载系统,如果NFS请求超时,则客户端向调用程序返回错误;取值为hard,即使用硬连接方式,如果NFS请求超时,则客户端一直重新请求直至成功。 默认为hard。 retrans 客户端返回错误前的重传次数。建议值:1。 tcp/udp 不指定mountproto时,客户端默认先尝试使用udp协议挂载,如果udp网络不通则会在卡顿几秒后再尝试tcp协议挂载。 当前默认没有放通安全组入方向mount协议的udp端口号,需要将mount挂载协议设置为TCP传输协议,即mountproto=tcp。 ro/rw ro:表示采用只读的方式挂载。 rw:表示采用读写的方式挂载。 默认为rw。未写明ro/rw时,则默认为采用rw读写的方式挂载。 noresvport 指定NFS客户端向NFS服务端重新发起建立连接时使用新的TCP端口。 强烈建议使用 noresvport 参数,这可以保障网络发生故障恢复事件后文件系统服务不会中断。 sync/async sync为同步写入,表示将写入文件的数据立即写入服务端;async为异步写入,表示将数据先写入缓存,再写入服务端。 同步写入要求NFS服务器必须将每个数据都刷入服务端后,才可以返回成功,时延较高。建议设置为async。 noatime 如果不需要记录文件的访问时间,可以设置该参数。避免频繁访问时,修改访问时间带来的开销。 nodiratime 如果不需要记录目录的访问时间,可以设置该参数。避免频繁访问时,修改访问时间带来的开销。 没有“使用建议”的参数推荐使用默认参数。 挂载完成后,执行如下命令,查看已挂载的文件系统。 mount -l 如果回显包含如下类似信息,说明挂载成功。 挂载地址 on /local_path type nfs (rw,vers=3,timeo=600,nolock,addr=) 挂载成功后,用户可以在云服务器上访问文件系统,执行读取或写入操作。 支持写入的单个文件最大容量为1PB。
  • 约束与限制 该约束仅针对本地挂载路径(即挂载点),不影响其他文件或目录。 暂不支持修改本地挂载路径(即挂载点)的元数据,即不支持对挂载点的元数据做如下操作: - touch:更新文件的访问时间和修改时间 - rm:删除文件或目录 - cp:复制文件或目录 - mv:移动文件或目录 - rename:重命名文件或目录 - chmod:修改文件或目录的权限 - chown:修改文件或目录的所有者 - chgrp:修改文件或目录的所属组 - ln:创建硬链接 - link:创建硬链接 - unlink:删除硬链接 本地挂载路径(即挂载点根目录)的atime、ctime和mtime属性是当前时间,每次查询根目录属性返回的都是服务端当时时间的值。
  • FAQ 什么情况下会发生数据淘汰? 从OBS导入到SFS Turbo的文件,当文件在设定数据淘汰时间内没有被访问时,会自动对该文件进行淘汰。 在SFS Turbo上创建的文件,只有已经导出到OBS并且满足数据淘汰时间,才会进行淘汰,如果还没有导出到OBS,则不会淘汰。 数据淘汰之后,怎么重新将数据导入到SFS Turbo文件系统? 对文件进行读写操作时会重新从OBS桶加载文件数据到SFS Turbo文件系统; 使用数据导入功能重新将数据从OBS桶加载到SFS Turbo文件系统。 什么场景下会发生数据导入失败? 当只导入了文件元数据,或者SFS Turbo中发生了数据淘汰,SFS Turbo中只剩下文件元数据,但OBS桶中的对象又被删除时,进行数据导入或访问文件内容时会发生失败。 导入/导出任务是同步的,还是异步的? 是异步的,任务提交后马上返回,您可以通过任务id查询异步任务完成状态。 删除SFS Turbo联动目录内的文件,OBS桶里对应的对象会删除吗? 不会。如果没有开启自动同步策略,则不会。如果开启了自动同步策略,则会删除。 SFS Turbo绑定OBS桶时或者绑定之后可以指定导入目录和文件的权限吗? 一般情况下,您可以指定导入目录和文件的权限。如果无法指定,请提交工单申请。指定权限详情如下所示: 绑定OBS桶时或绑定OBS桶后,支持设置导入目录和文件的默认权限,请参考《高性能弹性文件服务API参考》的“绑定后端存储”和“更新后端存储属性”章节。如果未设置,默认为750(目录权限)和640(文件权限)。 元数据导入(快速导入)和数据导入时,支持指定导入目录和文件的权限,请参考《高性能弹性文件服务API参考》的“创建数据导入导出任务”章节。如果未指定,则以上述默认权限为准。 历史版本导入目录和文件的默认权限为755(目录权限)和644(文件权限),现逐步按区域切换为750(目录权限)和640(文件权限),如有疑问,请提交工单咨询。 SFS Turbo绑定OBS桶时或者绑定之后,建议指定导入目录和文件的默认权限。如果您未指定,非root用户无权限访问对应的目录和文件。
  • 绑定OBS桶 登录高性能弹性文件服务管理控制台。 在文件系统列表中,单击创建的文件系统名称,进入文件系统详情页面。 进入“绑定后端存储”页签,单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS桶”中,填写如下参数。 表1 参数说明 参数 含义 限制 配置后可编辑 联动目录名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录,该目录将绑定对应的OBS桶,且该目录名称不能和已有目录重名。 子目录名称不能重复,子目录名称长度不能超过63个字符。 子目录名称必须是文件系统根目录下不存在的目录名。 子目录名称不能是“.”或“..”。 不支持 桶名 OBS存储桶桶名。 无法绑定不存在的存储桶。 不支持绑定OBS并行文件系统和已配置服务端加密的OBS存储桶进行联动。 不支持 OBS区域域名 OBS区域域名,即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 自动导出 打开开关后,当文件系统发生数据更新时,将自动导出到OBS桶。 - 支持 导出数据 打开“自动导出”开关,则会出现该参数。 选择导出到OBS桶的数据更新类型“新增数据”、“修改数据”或“删除数据”后,SFS Turbo会以异步方式导出到OBS。 新增数据:SFS Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 修改数据:从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 删除数据:在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 - 支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS Turbo云服务”,并单击“确定”,完成绑定。 如果您想指定导入目录和文件的权限,请参考《高性能弹性文件服务API参考》的“绑定后端存储”和“更新后端存储属性”执行操作。 不支持绑定OBS并行文件系统和已配置服务端加密的OBS存储桶进行联动。 绑定OBS桶时,会在OBS桶上添加Sid为“PolicyAddedBySFSTurbo”的桶策略,请不要修改或删除该桶策略,否则可能导致联动功能异常。 如果您已将一个或多个SFS Turbo文件系统绑定了OBS存储桶,在删除文件系统或删除绑定之前,请不要删除该OBS存储桶,否则可能导致联动功能异常。 以桶名为“obs-test”的OBS桶为例,桶策略“PolicyAddedBySFSTurbo”的内容如下所示: { "Statement": [ { "Sid": "PolicyAddedBySFSTurbo", "Effect": "Allow", "Principal": { "ID": [ "domain/xxx:user/xxx" ] }, "Action": [ "ListBucket", "HeadBucket", "GetBucketStorage", "GetBucketPolicy", "GetBucketAcl", "GetBucketNotification", "GetBucketQuota", "GetObject", "PutObject", "DeleteObject", "GetObjectAcl", "PutObjectAcl", "ModifyObjectMetaData" ], "Resource": [ "obs-test", "obs-test/*" ] } ] }
  • 元数据导入功能 SFS Turbo文件系统绑定OBS桶后,可以使用元数据导入功能。 当您使用SFS Turbo文件系统访问OBS桶的数据时,您需要使用元数据导入功能提前将OBS数据文件的元数据(名称、大小、最后修改时间)导入到SFS Turbo文件系统中。只有元数据导入之后,您才可以在文件系统的联动子目录中去访问OBS存储桶中的数据。元数据导入功能仅会导入文件元数据,文件内容会在首次访问时从OBS存储桶中加载并缓存在SFS Turbo中,后续重复访问会直接命中,无需再从OBS存储桶中加载。 SFS Turbo文件系统提供快速导入和附加元数据导入两种元数据导入方式。元数据导入之后,您可以在联动子目录下看到导入的目录和文件列表。 快速导入:当您绑定的OBS桶中存储的数据不是来源于SFS Turbo导出时,可以选择快速导入方式,快速导入方式仅会导入OBS的元数据(名称、大小、最后修改时间),不会导入其它附加元数据(如uid、gid、mode),SFS Turbo会生成默认的附加元数据(uid、gid、目录权限、文件权限),如果您想指定导入目录和文件的权限,请参考《高性能弹性文件服务API参考》的“创建数据导入导出任务”章节,该操作仅针对本次导入任务生效。快速导入能够提供更快的元数据导入性能,推荐您使用快速导入。 附加元数据导入:当您绑定的OBS桶中存储的数据是来源于SFS Turbo导出时,可以使用附加元数据导入方式,附加元数据导入方式会导入OBS的元数据(名称、大小、最后修改时间)以及来源于SFS Turbo导出时的附加元数据(如uid、gid、mode)。如果没有来源于SFS Turbo的附加元数据则以指定导入目录和文件的权限为准。 在绑定OBS桶之后,单击“元数据导入”选项。 图4 元数据导入 “导入前缀”请填写绑定OBS桶内对象的前缀,可以具体到某个对象名。如果要导入整个OBS桶内的所有对象,则不用填写。 勾选“附加元数据导入”将会采用附加元数据导入方式,不勾选“附加元数据导入”将采用快速导入方式。 单击“确定”,提交导入任务。 在OBS数据导入到SFS Turbo之后,如果OBS桶中的数据发生新增或修改,需要重新导入到SFS Turbo中。 不支持长度大于255字节的文件名或子目录名。
  • 数据导入功能 SFS Turbo文件系统绑定OBS桶后,可以使用数据导入功能。 默认情况下,元数据导入完成后,数据不会导入到SFS Turbo文件系统中,初次访问会按需从OBS中加载数据,对文件的第一次读取操作可能耗时较长。如果您的业务对时延比较敏感,并且您知道业务需要访问哪些目录和文件,比如AI训练等场景涉及海量小文件,对时延比较敏感,可以选择提前导入指定目录和文件。 数据导入功能会同时导入元数据和数据内容,元数据将会采用快速导入方式,不会导入其他附加元数据(如uid、gid、mode),如果您想指定导入目录和文件的权限,请参考《高性能弹性文件服务API参考》的“创建数据导入导出任务”章节,该操作仅针对本次导入任务生效。 在绑定OBS桶之后,单击“数据导入”选项。 图5 数据导入 “对象路径”请填写绑定OBS桶内对象的路径(不包含桶名)。 OBS桶中的对象路径(不包含桶名),目录需以“/”结尾。 如果要导入OBS桶内所有对象,则不用填写对象路径。SFS Turbo会将数据导入到联动目录下,且联动目录下的文件路径和OBS桶里的对象路径保持一致。 对象路径示例(“/mnt/sfs_turbo”为您的挂载目录,“output-1”为您的联动目录名称): 如对象路径为dir/,则会导入到“/mnt/sfs_turbo/output-1/dir” 如对象路径为dir/file, 则会导入到“/mnt/sfs_turbo/output-1/dir/file” 如对象路径为空,则会直接导入到“/mnt/sfs_turbo/output-1” 单击“确定”,提交导入任务。 在OBS数据导入到SFS Turbo之后,如果OBS桶中的数据发生新增或修改,需要重新导入到SFS Turbo中。 通过API使用数据导入功能的具体操作请参考创建SFSTurbo 和 OBS 之间的联动任务。 不支持长度大于255字节的文件名或子目录名。
  • 数据淘汰功能 SFS Turbo文件系统绑定OBS桶之后,可以使用数据淘汰功能。淘汰时会释放数据内容,仅保留元数据,释放后不占用SFS Turbo文件系统上的存储空间。再次访问该文件时,将重新从OBS中加载文件数据内容。 按时间淘汰 SFS Turbo文件系统绑定OBS桶之后,支持数据按时间淘汰功能。设定时间内没有被访问过的文件会被淘汰。 按时间淘汰功能支持设置(冷)数据淘汰时间,设置步骤请参考以下操作。 登录高性能弹性文件服务管理控制台。 在文件系统列表中,单击创建的SFS Turbo文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置(冷)数据淘汰时间。 图7 设置冷数据淘汰时间 按容量淘汰 SFS Turbo文件系统绑定OBS桶后,支持数据按容量淘汰功能。 容量达到95%及以上按照30分钟淘汰时间进行淘汰,淘汰至容量低于85%。 淘汰规则:按时间淘汰和按容量淘汰哪个先达到就先按哪个淘汰。 数据淘汰默认开启,淘汰时间默认为60小时。设置(冷)数据淘汰时间的API请参考更新文件系统。 如果SFS Turbo文件系统存储空间写满,会影响业务运行,建议在 云监控服务 CES上配置SFS Turbo已用容量的监控告警。 当触发容量阈值告警时请手动缩短数据淘汰时间,例如从60小时配置成40小时,加速(冷)数据淘汰,或者对SFS Turbo存储空间进行扩容。
  • 概述 AI训练和推理、高性能数据预处理、EDA、渲染、仿真等场景下,您可以通过SFS Turbo文件系统来加速OBS对象存储中的数据访问。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象。您可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。您可以在上层训练等任务开始前将OBS对象存储桶中的数据提前导入到SFS Turbo中,加速对OBS对象存储中的数据访问;上层任务产生的中间和结果等数据可以直接高速写入到SFS Turbo缓存中,中间缓存数据可被下游业务环节继续读取并处理,结果数据可以异步方式导出到关联的OBS对象存储中进行长期低成本存储。同时,您还可以配置缓存数据淘汰功能,及时将长期未访问的数据从SFS Turbo缓存中淘汰,释放SFS Turbo高性能缓存空间。
  • 使用限制 支持存储联动的SFS Turbo文件系统规格有:20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB。 SFS Turbo目录和OBS配置联动后不支持以下操作:硬链接、重命名和目录配额。 单个SFS Turbo文件系统最多可配置16个OBS联动目录。 创建 OBS 后端存储库,依赖的服务是 对象存储服务 OBS。用户需要额外配置OBS Adminstrator权限。 同一层目录下不允许同样名称的文件和目录存在。 不支持超长路径,数据流动支持的路径最大长度是1023字符。 数据流动导入时,不支持长度大于255字节的文件名或子目录名。 开启WORM策略的OBS桶,只能从OBS桶导入数据到SFS Turbo,无法从SFS Turbo导出数据到OBS桶。 不支持绑定OBS并行文件系统和已配置服务端加密的OBS存储桶进行联动。