检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加授权 表3 参数说明 参数 说明 VPC 添加的VPC,例如:vpc-30e0。如无VPC,可选择新建VPC。 读写权限 支持选择读写权限和只读权限。默认为“读写”。 用户权限 支持选择root用户不匿名(no_root_squash)、root用户匿名(root_squash
虚拟专用网络、云专线线下节点通过终端节点高速访问SFS Turbo HPC型文件系统。 SFS Turbo HPC型文件系统的挂载点使用的是域名,IDC环境如果不适用云上DNS则无法解析SFS Turbo的域名,导致此场景无法使用。 前提条件 本地数据中心已通过虚拟专用网络或者云专线与VPC连通。 虚
针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成的结果数
能够弹性伸缩至PB规模、TB级带宽,具备高可用性和持久性,为海量数据、高带宽型应用提供有力支持。 适用于多种应用场景,包括高性能计算、媒体处理、文件共享、内容管理和Web服务等,并且支持低频存储。 如表1,和传统的SFS容量型文件系统对比,通用文件系统具备更高性能。 表1 SFS容量型和通用文件系统
求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加
4PB 优势 大容量、高带宽、低成本 应用场景 大容量扩展以及成本敏感型业务,如媒体处理、文件共享、高性能计算、数据备份等。SFS容量型文件系统不适合海量小文件业务,推荐使用SFS Turbo文件系统。 时延是指低负载情况下的最低延迟,非稳定时延。 10MB以上为大文件,1MB以上为大IO。
os-allow_access字段说明: 参数 是否必选 参数类型 描述 access_level 否 String 共享访问的权限级别,取值为ro(只读),rw(读写)。默认为rw(读写)。 access_type 是 String 访问存储的方式。 NFS协议文件共享只支持cert, 多协议文件共享支持cert。
问。本地服务器用于访问本地NAS存储,云上服务器用于访问云上SFS Turbo。 通过公网或内网将云上NAS存储数据迁移至SFS Turbo中也可以参考本方案完成。 约束与限制 暂不支持使用公网迁移本地NAS存储至SFS容量型文件系统。 仅支持使用Linux系统的云服务器进行数据迁移。
动同步到OBS桶里。 CHANGED:表示修改数据,从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS
用包括root用户在内的任何用户,NFS服务器都保持客户端使用的用户,不做映射。 root_squash:客户端使用的是root用户时,映射到NFS服务器的用户为NFS的匿名用户(nfsnobody)。客户端使用非root用户时,NFS服务器保持客户端使用的用户,不做映射。 al
视频渲染、特效加工需要频繁处理小文件,要求文件系统具有较高的数据读写性能。 弹性文件服务是基于文件系统的共享存储服务,具有高速数据共享,动态分级存储,按需平滑扩展,支持在线扩容等特点,能充分满足媒体处理中用户对存储容量,吞吐量,IOPS(每秒读写次数)和各种工作负荷下低时延的需求。 某卫视频道栏
按需计费 按需计费是一种先使用再付费的计费模式,适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费SFS资源的计费规则。 适用场景 按需计费适用于具有不能中断的短期、突增或不可预测的应用或服务,例如电商抢购、临时测试、科学计算。 适用计费项 SFS容量型 默认为按需计费模式
lifecycle String 绑定状态 obs ObsDataRepository object OBS类型后端存储 表7 FailureDetailsMessage 参数 参数类型 描述 message String 错误信息 表8 ObsDataRepository 参数 参数类型
要额外添加。 创建 OBS 后端存储库 对象存储服务 OBS 如果需要创建 OBS 后端存储库,用户需要额外配置OBS Adminstrator权限。 通用文件系统控制台功能依赖的角色或策略 表7 通用文件系统控制台依赖服务的角色或策略 控制台功能 依赖服务 需配置角色/策略 创建通用文件系统
如何查看资源包的使用量? 如何确认Linux云服务器上的文件系统处于可用状态? 如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 更多 概念类 什么是弹性文件服务? 什么是SFS Turbo? SFS、OBS和EVS有什么区别? 更多 限制类 文件系统使用空间不足,可以扩容吗? 文件系统中的数据是否可以跨区域迁移?
| 64GB 镜像:EulerOS 2.5 单队列随机读 fio命令: fio -direct=1 -iodepth=1 -rw=randread -ioengine=libaio -bs=4k -size=10G -numjobs=1 -runtime=60 -group_reporting
群的计算机系统和环境。能够执行一般个人电脑无法处理的大资料量与高性能的运算。高性能计算具有超高浮点计算能力,可用于解决计算密集型、海量数据处理等业务的计算需求,如应用于工业设计CAD/CAE,生物科学,能源勘探,图片渲染和异构计算等涉及高性能计算集群来解决大型计算问题的领域。根据其业务特性对共享的文件系统有如下要求:
Configuration Protocol,DHCP)是一个局域网的网络协议。指的是由服务器控制一段IP地址范围,客户机登录服务器时就可以自动获得服务器分配的IP地址和子网掩码。默认情况下,DHCP作为Windows Server的一个服务组件不会被系统自动安装,还需要管理员手动安装并进行必要的配置。 父主题:
如果需要跨区域挂载,可以通过指定IP的方式挂载。 通过域名(DNS)随机将该文件系统挂载到云服务器时,在未达到云服务器满载性能前,可能出现挂载不均匀的现象。可通过增加挂载点的数量的方式,最大限度利用所有可用云服务器的资源。 不支持 不支持 缓存加速 不支持 支持(仅保证最终一致性,如需关闭,请提交工单反馈)
与其他云服务的关系 弹性文件服务与其他云服务的关系如图1所示。 图1 弹性文件服务与其他服务的关系示意图 弹性文件服务与其他服务的关系 表1 与其他云服务的关系 功能 相关服务 位置 云服务器和文件系统归属于同一项目下,用于挂载共享路径实现数据共享。 弹性云服务器(Elastic