云服务器内容精选
-
约束与限制 该约束仅针对本地挂载路径(即挂载点),不影响其他文件或目录。 SFS Turbo文件系统暂不支持挂载至Windows系统的云服务器。 使用 域名 (DNS)挂载SFS Turbo文件系统时,不支持跨区域(Region)挂载,但可以通过指定IP的方式跨区域(Region)挂载,网络互通方式具体参考云连接CC“跨区域VPC互通”。 本地挂载路径(即挂载点根目录)的atime、ctime和mtime属性是当前时间,每次查询根目录属性返回的都是服务端当时时间的值。 暂不支持修改本地挂载路径(即挂载点)的元数据,即不支持对挂载点的元数据做如下操作: - touch:更新文件的访问时间和修改时间 - rm:删除文件或目录 - cp:复制文件或目录 - mv:移动文件或目录 - rename:重命名文件或目录 - chmod:修改文件或目录的权限 - chown:修改文件或目录的所有者 - chgrp:修改文件或目录的所属组 - ln:创建硬链接 - link:创建硬链接 - unlink:删除硬链接
-
相关信息 当您完成创建SFS Turbo文件系统、挂载SFS Turbo文件系统后,您还可以结合业务需求使用以下高阶功能。 备份:通过使用CBR备份能力,当您的SFS Turbo文件系统出现故障或SFS Turbo文件系统中的数据发生逻辑错误时(如误删数据、遭遇黑客攻击或病毒危害等),可快速使用备份恢复数据。 扩容:当您认为SFS Turbo文件系统的容量不足时,您可以通过执行扩容操作来增加SFS Turbo文件系统的容量。 存储联动:您可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入/导出任务实现数据同步。同时,您还可以配置缓存数据淘汰功能,及时将长期未访问的数据从SFS Turbo缓存中淘汰,释放SFS Turbo高性能缓存空间。
-
步骤二:挂载SFS Turbo文件系统 当创建SFS Turbo文件系统成功后,您需要使用云服务器来挂载该SFS Turbo文件系统,以实现多个云服务器共享使用SFS Turbo文件系统的目的。 以root用户登录弹性云服务器 E CS 。可以通过管理控制台或跨平台远程访问工具(例如PuTTY)登录已购买的ECS。 安装NFS客户端。 安装NFS客户端。 执行如下命令查看系统(此处以CentOS为例)是否安装NFS软件包。 rpm -qa|grep nfs 如果回显如下信息,说明已经成功安装NFS软件包,执行解析域名步骤。如未显示,执行安装命令。 libnfsidmap nfs-utils 如果查看到未安装,执行如下命令。 sudo yum -y install nfs-utils 执行命令前要求云服务器已连接到互联网,否则安装NFS客户端失败。 查看是否能解析SFS Turbo文件系统共享路径中的域名。 nslookup SFS Turbo文件系统域名 SFS Turbo文件系统域名如:xxx.sfsturbo.internal(xxx为SFS Turbo文件系统ID)。SFS Turbo文件系统域名请从SFS Turbo文件系统的共享路径中获取。 无法使用nslookup命令时,需要先安装bind-utils软件包。(可通过执行yum install bind-utils命令安装) 解析成功,执行挂载NFS文件系统到根目录。 解析失败,请先完成DNS服务器IP地址的配置再执行挂载SFS Turbo文件系统的操作,具体配置操作请参见配置解析域名的DNS服务器。 挂载NFS文件系统到根目录。 mkdir 本地路径 mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp 挂载地址 本地路径 如果本地路径已挂载其他磁盘等资源,为被占用状态时,需要新建其它目录进行挂载(NFS客户端不会对重复挂载进行拦截,当重复挂载时会表现为最后一次成功挂载的信息)。 参数 说明 vers SFS Turbo文件系统版本,目前只支持NFSv3。取值:3。 timeo NFS客户端重传请求前的等待时间(单位为0.1秒)。建议值:600。 noresvport 指定NFS客户端向NFS服务端重新发起建立连接时使用新的TCP端口。 强烈建议使用noresvport参数,这可以保障网络发生故障恢复事件后文件系统服务不会中断。 nolock 选择是否使用NLM协议在服务器上锁定文件。当选择nolock选项时,锁对于同一主机的应用有效,对不同主机不受锁的影响。 tcp NFS客户端向服务器发起传输请求使用的协议,可以为UDP或者TCP。 挂载地址 该挂载地址的SFS Turbo文件系统类型为125MB/s/TiB,取值为xxx.sfsturbo.internal:/,xxx为SFS Turbo文件系统ID。 本地路径 云服务器上用于挂载SFS Turbo文件系统的本地路径。例如“/local_path”。 挂载完成后,执行如下命令,查看已挂载的SFS Turbo文件系统。 mount -l 如果回显包含如下类似信息,说明挂载成功。 挂载地址 on /local_path type nfs (rw,vers=3,timeo=600,nolock,addr=) (可选)配置fstab文件开机自动挂载SFS Turbo文件系统。 已挂载SFS Turbo文件系统的云服务器重启后,该云服务器上的挂载信息将会丢失,您可以通过在fstab文件中配置自动挂载来保证云服务器重启时自动挂载SFS Turbo文件系统。 执行以下命令编辑“/etc/fstab”文件。 vi /etc/fsta 在文件的最后新增要挂载的SFS Turbo文件系统信息,配置样例如下: 挂载地址 /local_path nfs vers=3,timeo=600,noresvport,nolock,tcp 0 0 其中,“挂载地址”和“/local_path”需根据实际情况进行修改。挂载地址可以从SFS Turbo文件系统的“共享路径”一栏获取。具体字段说明如下所示。 参数 说明 挂载地址 SFS Turbo文件系统的挂载地址。设置为挂载NFS文件系统到根目录中mount命令中的挂载地址。 /local_path 挂载点,即云服务器上创建的挂载SFS Turbo文件系统的目录。设置为挂载NFS文件系统到根目录中mount命令中的本地路径。 nfs 挂载类型,指SFS Turbo文件系统或分区类型。 vers=3,timeo=600,noresvport,nolock,tcp 用于设置挂载的参数,多个选项之间以英文逗号进行分隔。 vers:SFS Turbo文件系统版本,取值为3代表NFSv3。 timeo:NFS客户端重传请求前的等待时间(单位为0.1秒)。建议值:600。 noresvport:指定NFS客户端向NFS服务端重新发起建立连接时使用新的TCP端口。强烈建议使用noresvport参数,可保障网络发生故障恢复事件后文件系统服务不会中断。 nolock:选择是否使用NLM协议在服务器上锁文件。当选择nolock选项时,锁对于同一主机的应用有效,对不同主机不受锁的影响。 tcp:TCP传输协议。 0 大于0的整数:让备份程序dump备份SFS Turbo文件系统。数字越小越先备份。 0:不备份SFS Turbo文件系统。 0 根目录分区默认设置为1,其他分区从2开始:在云服务器启动时用fsck程序检查SFS Turbo文件系统以及以什么顺序检查,数字越小越先检查。 0:不检查SFS Turbo文件系统。 为获得最优的系统性能,建议按照“配置样例”进行配置。如果业务需要,您也可以根据实际情况自定义部分挂载参数,但变更配置后将会在一定程度上影响系统性能。 单击“Esc”,并输入:wq,保存文件并退出。 (可选)执行以下命令,查看修改后的fstab文件内容。 cat /etc/fstab 图1 修改后的fstab文件 了解详细挂载步骤请参考挂载SFS Turbo文件系统到Linux云服务器。
-
步骤一:创建SFS Turbo文件系统 文件系统是SFS Turbo中存储文件的容器。您需要先创建一个SFS Turbo文件系统,然后才能在SFS Turbo中存储数据。 本步骤仅针对示例中的关键参数进行设置和介绍,其他参数保持默认,更多创建SFS Turbo文件系统的详细信息请参见创建SFS Turbo文件系统。 登录高性能弹性文件服务控制台。 选择与ECS相同的区域,SFS Turbo文件系统只有与ECS归属在同一区域和同一VPC下,才能挂载成功。本例选择“华北-北京四”区域。 单击“创建文件系统”,进入创建SFS Turbo文件系统页面。 根据页面提示填写信息,具体参数说明如下表所示。 参数 示例 说明 计费模式 按需计费 选择计费模式为包年/包月或按需计费。详细的服务资费费率标准请参见价格说明。 区域 华北-北京四 用户所在的区域。 请选择和云服务器同一个区域。 可用区 可用区1 可用区指在同一区域下,电力、网络隔离的物理区域,可用区之间内网互通,不同可用区之间物理隔离。 如果您需要较低的网络时延,建议您选择和云服务器相同的可用区。 类型 125MB/s/TiB 选择“125MB/s/TiB”类型,创建成功后不支持更换存储类型,如需更换只能新创建另一存储类型的SFS Turbo文件系统,请根据业务情况事先规划存储类型。 更多信息,请参见文件系统类型。 容量(TB) 1.2 当前SFS Turbo文件系统的最大容量。 当SFS Turbo文件系统的实际使用容量达到该值时,您将无法对SFS Turbo文件系统执行写入操作,需要进行扩容。暂无法对SFS Turbo文件系统进行缩容操作,请根据实际需要设置SFS Turbo文件系统的容量。 125MB/s/TiB类型的SFS Turbo文件系统的容量支持范围:1.2TB-1PB。 企业项目 default 仅当使用企业类型的账号创建SFS Turbo文件系统时,会显示该参数。 用于按项目统一管理云资源。 选择网络 VPC:vpc-default 子网:subnet-default(192.168.0.0/24) 选择与云服务器相同的VPC及其子网(IP地址块)。 相关信息请进入弹性云服务器控制台列表,单击该云服务器进入基本信息,再单击“虚拟私有云”后的字段进入虚拟私有云列表,获取VPC及其子网。 名称 sfs-turbo-b6a6 用户自定义SFS Turbo文件系统的名称。 创建的SFS Turbo文件系统名称只能由英文字母、数字、下划线和中划线组成,输入长度需大于等于4个字符并小于等于64个字符,并以字母开头。 配置完成后,单击“立即创建”。 核对SFS Turbo文件系统信息,确认无误后单击“提交”。 根据页面提示,完成创建后,返回SFS Turbo文件系统列表页面。您可以看到SFS Turbo文件系统的“状态”显示为“可用”,表示SFS Turbo文件系统创建成功。如果“状态”为“创建失败”,请查看SFS Turbo创建失败处理。 在SFS Turbo文件系统列表中保存好共享路径中的挂载地址,用于挂载SFS Turbo文件系统。
-
准备工作 注册账号并实名认证。 在购买SFS Turbo之前,请先 注册华为账号 并开通华为云、实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 为账户充值。 请保证账户有足够的资金,以免使用SFS Turbo失败。具体操作,请参见账户充值。 创建VPC和ECS 创建SFS Turbo文件系统前,确认是否已创建VPC和ECS,并将ECS归属到已创建的VPC下。如果VPC不一致,SFS Turbo可通过VPC对等连接建立与ECS的通信。 创建VPC。 参考“创建虚拟私有云基本信息及默认子网”章节创建VPC。 创建ECS。 参考“快速购买和使用Linux ECS”章节在华北-北京四购买ECS,同时将ECS归属到已创建的VPC下。
-
停售影响 正式停售后,用户将无法再新购买SFS Turbo 标准型、标准型-增强版、性能型、性能型增强版规格,推荐您在相应区域购买SFS Turbo其他规格文件系统:20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB,具有更优惠的价格和更高的性能,详细介绍请参见文件系统类型。 已购买SFS Turbo停售规格的用户可以继续正常使用、续费、扩容和删除。 如您有任何问题,可随时通过提交工单解决。
-
操作步骤 以root用户登录弹性云服务器。 若以非root用户登录弹性云服务器,具体操作请参考非root普通用户挂载SFS Turbo文件系统到Linux云服务器。 安装NFS客户端。 安装NFS客户端。 查看系统是否安装NFS软件包。 CentOS、Red Hat、Oracle Enterprise Linux、SUSE、Euler OS、Fedora或OpenSUSE系统下,执行如下命令: rpm -qa|grep nfs Debian或Ubuntu系统下,执行如下命令: dpkg -l nfs-common 不同操作系统回显会有所不同,如果回显如下类似信息,说明已经成功安装NFS软件包,执行3。如未显示,执行该步骤。 CentOS、Red Hat、Euler OS、Fedora或Oracle Enterprise Linux系统下,回显如下类似信息: libnfsidmap nfs-utils SUSE或OpenSUSE系统下,回显如下类似信息: nfsidmap nfs-client Debian或Ubuntu系统下,回显如下类似信息: nfs-common 如果查看到未安装,根据不同的操作系统,执行不同命令。 执行以下命令前要求云服务器已连接到互联网,否则安装NFS客户端失败。 CentOS、Red Hat、Euler OS、Fedora或Oracle Enterprise Linux系统下,执行如下命令: sudo yum -y install nfs-utils Debian或Ubuntu系统下,执行如下命令: sudo apt-get install nfs-common SUSE或OpenSUSE系统下,执行如下命令: zypper install nfs-client 执行如下命令,查看是否能解析文件系统共享路径中的域名。 nslookup 文件系统域名 文件系统域名如:xxx.sfsturbo.internal(xxx为文件系统ID)。文件系统域名请从文件系统的共享路径中获取。 无法使用nslookup命令时,需要先安装bind-utils软件包。(可通过执行yum install bind-utils命令安装) 解析成功,执行该步骤。 解析失败,请先完成DNS服务器IP地址的配置再执行挂载文件系统的操作,具体配置操作请参见配置解析域名的DNS服务器。 执行如下命令,创建用于挂载文件系统的本地路径。 mkdir 本地路径 如果本地路径已挂载其他磁盘等资源,为被占用状态时,需要新建其它目录进行挂载(nfs客户端不会对重复挂载进行拦截,当重复挂载时会表现为最后一次成功挂载的信息)。 执行如下命令,将文件系统挂载到与文件系统所属VPC相同的云服务器上。文件系统目前仅支持NFSv3协议挂载到Linux云服务器。 其中变量说明见表1。 SFS Turbo文件系统执行命令:mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp 挂载地址 本地路径 已挂载文件系统的云服务器重启后,该云服务器上的挂载信息将会丢失,您可以通过在fstab文件中配置自动挂载来保证云服务器重启时自动挂载文件系统,具体操作请参见root用户自动挂载SFS Turbo文件系统到Linux云服务器。 表1 参数说明 参数 说明 vers 文件系统版本,目前只支持NFSv3。取值:3。 timeo NFS客户端重传请求前的等待时间(单位为0.1秒)。建议值:600。 noresvport 指定NFS客户端向NFS服务端重新发起建立连接时使用新的TCP端口。 强烈建议使用 noresvport 参数,这可以保障网络发生故障恢复事件后文件系统服务不会中断。 lock/nolock 选择是否使用NLM协议在服务器上锁文件。当选择nolock选项时,锁对于同一主机的应用有效,对不同主机不受锁的影响。建议值:nolock。如不加此参数,则默认为lock,就会发生其他服务器无法对此文件系统写入的情况。 proto NFS客户端向服务器发起传输请求使用的协议,可以为UDP或者TCP。 当前通用文件系统不支持UDP传输协议,需要设置为TCP传输协议,即proto=tcp。 挂载地址 SFS Turbo标准型、标准型-增强版、性能型、性能型-增强版文件系统的格式为:文件系统IP:/,例如192.168.0.0:/。 SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB和HPC缓存型文件系统的格式为:域名地址:/,例如xxx.sfsturbo.internal:/。 如图1所示。 说明: x是数字或字母。 由于挂载地址名称较长,需要拉宽该栏以便完整显示。 本地路径 云服务器上用于挂载文件系统的本地路径,例如“/local_path”。 图1 挂载地址 挂载文件系统时,更多性能调优的挂载参数,可参考表2配置,各参数之间以逗号进行分隔。例如: mount -t nfs -o vers=3,timeo=600,nolock,rsize=1048576,wsize=1048576,hard,retrans=3,tcp,noresvport,ro,async,noatime,nodiratime 挂载地址 本地路径 表2 挂载参数 参数 说明 rsize 每次向服务器读取文件的最大字节数。实际数据小于或等于此值。rsize必须是1024倍数的正整数,小于1024时自动设为4096,大于1048576时自动设为1048576。默认时,服务器和客户端进行协商后设置。 建议设置为最大值1048576。 wsize 每次向服务器写入文件的最大字节数。实际数据小于或等于此值。wsize必须是1024倍数的正整数,小于1024时自动设为4096,大于1048576时自动设为1048576。默认时,服务器和客户端进行协商后设置。 建议设置为最大值1048576。 soft/hard 取值为soft,即软挂载方式挂载系统,如果NFS请求超时,则客户端向调用程序返回错误;取值为hard,即使用硬连接方式,如果NFS请求超时,则客户端一直重新请求直至成功。 默认为hard。 retrans 客户端返回错误前的重传次数。建议值:1。 tcp/udp 不指定mountproto时,客户端默认先尝试使用udp协议挂载,如果udp网络不通则会在卡顿几秒后再尝试tcp协议挂载。 当前默认没有放通安全组入方向mount协议的udp端口号,需要将mount挂载协议设置为TCP传输协议,即mountproto=tcp。 ro/rw ro:表示采用只读的方式挂载。 rw:表示采用读写的方式挂载。 默认为rw。未写明ro/rw时,则默认为采用rw读写的方式挂载。 noresvport 指定NFS客户端向NFS服务端重新发起建立连接时使用新的TCP端口。 强烈建议使用 noresvport 参数,这可以保障网络发生故障恢复事件后文件系统服务不会中断。 sync/async sync为同步写入,表示将写入文件的数据立即写入服务端;async为异步写入,表示将数据先写入缓存,再写入服务端。 同步写入要求NFS服务器必须将每个数据都刷入服务端后,才可以返回成功,时延较高。建议设置为async。 noatime 如果不需要记录文件的访问时间,可以设置该参数。避免频繁访问时,修改访问时间带来的开销。 nodiratime 如果不需要记录目录的访问时间,可以设置该参数。避免频繁访问时,修改访问时间带来的开销。 没有“使用建议”的参数推荐使用默认参数。 挂载完成后,执行如下命令,查看已挂载的文件系统。 mount -l 如果回显包含如下类似信息,说明挂载成功。 挂载地址 on /local_path type nfs (rw,vers=3,timeo=600,nolock,addr=) 挂载成功后,用户可以在云服务器上访问文件系统,执行读取或写入操作。 支持写入的单个文件最大容量为1PB。
-
约束与限制 该约束仅针对本地挂载路径(即挂载点),不影响其他文件或目录。 暂不支持修改本地挂载路径(即挂载点)的元数据,即不支持对挂载点的元数据做如下操作: - touch:更新文件的访问时间和修改时间 - rm:删除文件或目录 - cp:复制文件或目录 - mv:移动文件或目录 - rename:重命名文件或目录 - chmod:修改文件或目录的权限 - chown:修改文件或目录的所有者 - chgrp:修改文件或目录的所属组 - ln:创建硬链接 - link:创建硬链接 - unlink:删除硬链接 本地挂载路径(即挂载点根目录)的atime、ctime和mtime属性是当前时间,每次查询根目录属性返回的都是服务端当时时间的值。
-
FAQ 什么情况下会发生数据淘汰? 从OBS导入到SFS Turbo的文件,当文件在设定数据淘汰时间内没有被访问时,会自动对该文件进行淘汰。 在SFS Turbo上创建的文件,只有已经导出到OBS并且满足数据淘汰时间,才会进行淘汰,如果还没有导出到OBS,则不会淘汰。 数据淘汰之后,怎么重新将数据导入到SFS Turbo文件系统? 对文件进行读写操作时会重新从OBS桶加载文件数据到SFS Turbo文件系统; 使用数据导入功能重新将数据从OBS桶加载到SFS Turbo文件系统。 什么场景下会发生数据导入失败? 当只导入了文件元数据,或者SFS Turbo中发生了数据淘汰,SFS Turbo中只剩下文件元数据,但OBS桶中的对象又被删除时,进行数据导入或访问文件内容时会发生失败。 导入/导出任务是同步的,还是异步的? 是异步的,任务提交后马上返回,您可以通过任务id查询异步任务完成状态。 删除SFS Turbo联动目录内的文件,OBS桶里对应的对象会删除吗? 不会。如果没有开启自动同步策略,则不会。如果开启了自动同步策略,则会删除。 SFS Turbo绑定OBS桶时或者绑定之后可以指定导入目录和文件的权限吗? 一般情况下,您可以指定导入目录和文件的权限。如果无法指定,请提交工单申请。指定权限详情如下所示: 绑定OBS桶时或绑定OBS桶后,支持设置导入目录和文件的默认权限,请参考《高性能弹性文件服务API参考》的“绑定后端存储”和“更新后端存储属性”章节。如果未设置,默认为750(目录权限)和640(文件权限)。 元数据导入(快速导入)和数据导入时,支持指定导入目录和文件的权限,请参考《高性能弹性文件服务API参考》的“创建数据导入导出任务”章节。如果未指定,则以上述默认权限为准。 历史版本导入目录和文件的默认权限为755(目录权限)和644(文件权限),现逐步按区域切换为750(目录权限)和640(文件权限),如有疑问,请提交工单咨询。 SFS Turbo绑定OBS桶时或者绑定之后,建议指定导入目录和文件的默认权限。如果您未指定,非root用户无权限访问对应的目录和文件。
-
绑定OBS桶 登录高性能弹性文件服务管理控制台。 在文件系统列表中,单击创建的文件系统名称,进入文件系统详情页面。 进入“绑定后端存储”页签,单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS桶”中,填写如下参数。 表1 参数说明 参数 含义 限制 配置后可编辑 联动目录名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录,该目录将绑定对应的OBS桶,且该目录名称不能和已有目录重名。 子目录名称不能重复,子目录名称长度不能超过63个字符。 子目录名称必须是文件系统根目录下不存在的目录名。 子目录名称不能是“.”或“..”。 不支持 桶名 OBS存储桶桶名。 无法绑定不存在的存储桶。 不支持绑定OBS并行文件系统和已配置服务端加密的OBS存储桶进行联动。 不支持 OBS区域域名 OBS区域域名,即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 自动导出 打开开关后,当文件系统发生数据更新时,将自动导出到OBS桶。 - 支持 导出数据 打开“自动导出”开关,则会出现该参数。 选择导出到OBS桶的数据更新类型“新增数据”、“修改数据”或“删除数据”后,SFS Turbo会以异步方式导出到OBS。 新增数据:SFS Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 修改数据:从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 删除数据:在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 - 支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS Turbo云服务”,并单击“确定”,完成绑定。 如果您想指定导入目录和文件的权限,请参考《高性能弹性文件服务API参考》的“绑定后端存储”和“更新后端存储属性”执行操作。 不支持绑定OBS并行文件系统和已配置服务端加密的OBS存储桶进行联动。 绑定OBS桶时,会在OBS桶上添加Sid为“PolicyAddedBySFSTurbo”的桶策略,请不要修改或删除该桶策略,否则可能导致联动功能异常。 如果您已将一个或多个SFS Turbo文件系统绑定了OBS存储桶,在删除文件系统或删除绑定之前,请不要删除该OBS存储桶,否则可能导致联动功能异常。 以桶名为“obs-test”的OBS桶为例,桶策略“PolicyAddedBySFSTurbo”的内容如下所示: { "Statement": [ { "Sid": "PolicyAddedBySFSTurbo", "Effect": "Allow", "Principal": { "ID": [ "domain/xxx:user/xxx" ] }, "Action": [ "ListBucket", "HeadBucket", "GetBucketStorage", "GetBucketPolicy", "GetBucketAcl", "GetBucketNotification", "GetBucketQuota", "GetObject", "PutObject", "DeleteObject", "GetObjectAcl", "PutObjectAcl", "ModifyObjectMetaData" ], "Resource": [ "obs-test", "obs-test/*" ] } ] }
-
元数据导入功能 SFS Turbo文件系统绑定OBS桶后,可以使用元数据导入功能。 当您使用SFS Turbo文件系统访问OBS桶的数据时,您需要使用元数据导入功能提前将OBS数据文件的元数据(名称、大小、最后修改时间)导入到SFS Turbo文件系统中。只有元数据导入之后,您才可以在文件系统的联动子目录中去访问OBS存储桶中的数据。元数据导入功能仅会导入文件元数据,文件内容会在首次访问时从OBS存储桶中加载并缓存在SFS Turbo中,后续重复访问会直接命中,无需再从OBS存储桶中加载。 SFS Turbo文件系统提供快速导入和附加元数据导入两种元数据导入方式。元数据导入之后,您可以在联动子目录下看到导入的目录和文件列表。 快速导入:当您绑定的OBS桶中存储的数据不是来源于SFS Turbo导出时,可以选择快速导入方式,快速导入方式仅会导入OBS的元数据(名称、大小、最后修改时间),不会导入其它附加元数据(如uid、gid、mode),SFS Turbo会生成默认的附加元数据(uid、gid、目录权限、文件权限),如果您想指定导入目录和文件的权限,请参考《高性能弹性文件服务API参考》的“创建数据导入导出任务”章节,该操作仅针对本次导入任务生效。快速导入能够提供更快的元数据导入性能,推荐您使用快速导入。 附加元数据导入:当您绑定的OBS桶中存储的数据是来源于SFS Turbo导出时,可以使用附加元数据导入方式,附加元数据导入方式会导入OBS的元数据(名称、大小、最后修改时间)以及来源于SFS Turbo导出时的附加元数据(如uid、gid、mode)。如果没有来源于SFS Turbo的附加元数据则以指定导入目录和文件的权限为准。 在绑定OBS桶之后,单击“元数据导入”选项。 图4 元数据导入 “导入前缀”请填写绑定OBS桶内对象的前缀,可以具体到某个对象名。如果要导入整个OBS桶内的所有对象,则不用填写。 勾选“附加元数据导入”将会采用附加元数据导入方式,不勾选“附加元数据导入”将采用快速导入方式。 单击“确定”,提交导入任务。 在OBS数据导入到SFS Turbo之后,如果OBS桶中的数据发生新增或修改,需要重新导入到SFS Turbo中。 不支持长度大于255字节的文件名或子目录名。
-
数据导入功能 SFS Turbo文件系统绑定OBS桶后,可以使用数据导入功能。 默认情况下,元数据导入完成后,数据不会导入到SFS Turbo文件系统中,初次访问会按需从OBS中加载数据,对文件的第一次读取操作可能耗时较长。如果您的业务对时延比较敏感,并且您知道业务需要访问哪些目录和文件,比如AI训练等场景涉及海量小文件,对时延比较敏感,可以选择提前导入指定目录和文件。 数据导入功能会同时导入元数据和数据内容,元数据将会采用快速导入方式,不会导入其他附加元数据(如uid、gid、mode),如果您想指定导入目录和文件的权限,请参考《高性能弹性文件服务API参考》的“创建数据导入导出任务”章节,该操作仅针对本次导入任务生效。 在绑定OBS桶之后,单击“数据导入”选项。 图5 数据导入 “对象路径”请填写绑定OBS桶内对象的路径(不包含桶名)。 OBS桶中的对象路径(不包含桶名),目录需以“/”结尾。 如果要导入OBS桶内所有对象,则不用填写对象路径。SFS Turbo会将数据导入到联动目录下,且联动目录下的文件路径和OBS桶里的对象路径保持一致。 对象路径示例(“/mnt/sfs_turbo”为您的挂载目录,“output-1”为您的联动目录名称): 如对象路径为dir/,则会导入到“/mnt/sfs_turbo/output-1/dir” 如对象路径为dir/file, 则会导入到“/mnt/sfs_turbo/output-1/dir/file” 如对象路径为空,则会直接导入到“/mnt/sfs_turbo/output-1” 单击“确定”,提交导入任务。 在OBS数据导入到SFS Turbo之后,如果OBS桶中的数据发生新增或修改,需要重新导入到SFS Turbo中。 通过API使用数据导入功能的具体操作请参考创建SFSTurbo 和 OBS 之间的联动任务。 不支持长度大于255字节的文件名或子目录名。
-
数据淘汰功能 SFS Turbo文件系统绑定OBS桶之后,可以使用数据淘汰功能。淘汰时会释放数据内容,仅保留元数据,释放后不占用SFS Turbo文件系统上的存储空间。再次访问该文件时,将重新从OBS中加载文件数据内容。 按时间淘汰 SFS Turbo文件系统绑定OBS桶之后,支持数据按时间淘汰功能。设定时间内没有被访问过的文件会被淘汰。 按时间淘汰功能支持设置(冷)数据淘汰时间,设置步骤请参考以下操作。 登录高性能弹性文件服务管理控制台。 在文件系统列表中,单击创建的SFS Turbo文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置(冷)数据淘汰时间。 图7 设置冷数据淘汰时间 按容量淘汰 SFS Turbo文件系统绑定OBS桶后,支持数据按容量淘汰功能。 容量达到95%及以上按照30分钟淘汰时间进行淘汰,淘汰至容量低于85%。 淘汰规则:按时间淘汰和按容量淘汰哪个先达到就先按哪个淘汰。 数据淘汰默认开启,淘汰时间默认为60小时。设置(冷)数据淘汰时间的API请参考更新文件系统。 如果SFS Turbo文件系统存储空间写满,会影响业务运行,建议在 云监控服务 CES上配置SFS Turbo已用容量的监控告警。 当触发容量阈值告警时请手动缩短数据淘汰时间,例如从60小时配置成40小时,加速(冷)数据淘汰,或者对SFS Turbo存储空间进行扩容。
-
概述 AI训练和推理、高性能数据预处理、EDA、渲染、仿真等场景下,您可以通过SFS Turbo文件系统来加速OBS对象存储中的数据访问。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象。您可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。您可以在上层训练等任务开始前将OBS对象存储桶中的数据提前导入到SFS Turbo中,加速对OBS对象存储中的数据访问;上层任务产生的中间和结果等数据可以直接高速写入到SFS Turbo缓存中,中间缓存数据可被下游业务环节继续读取并处理,结果数据可以异步方式导出到关联的OBS对象存储中进行长期低成本存储。同时,您还可以配置缓存数据淘汰功能,及时将长期未访问的数据从SFS Turbo缓存中淘汰,释放SFS Turbo高性能缓存空间。
-
使用限制 支持存储联动的SFS Turbo文件系统规格有:20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB。 SFS Turbo目录和OBS配置联动后不支持以下操作:硬链接、重命名和目录配额。 单个SFS Turbo文件系统最多可配置16个OBS联动目录。 创建 OBS 后端存储库,依赖的服务是 对象存储服务 OBS。用户需要额外配置OBS Adminstrator权限。 同一层目录下不允许同样名称的文件和目录存在。 不支持超长路径,数据流动支持的路径最大长度是1023字符。 数据流动导入时,不支持长度大于255字节的文件名或子目录名。 开启WORM策略的OBS桶,只能从OBS桶导入数据到SFS Turbo,无法从SFS Turbo导出数据到OBS桶。 不支持绑定OBS并行文件系统和已配置服务端加密的OBS存储桶进行联动。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格