检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务特点: 大量小文件:存放网站静态文件,包括HTML文件,Json文件,静态图片等。 读I/O密集:业务以小文件读为主,数据写入相对较少。 多个Web Server访问同一个SFS Turbo后台,实现网站业务的高可用。 配置流程 整理好网站文件。 登录高性能弹性文件服务控制台,创建一个SFS
高性能计算具有超高浮点计算能力,可用于解决计算密集型、海量数据处理等业务的计算需求,如应用于工业设计CAD/CAE,生物科学,能源勘探,图片渲染和异构计算等涉及高性能计算集群来解决大型计算问题的领域。根据其业务特性对共享的文件系统有如下要求: 工业设计CAE/CAD:如汽车制造
大容量、低成本 低时延、高IOPS 大带宽、高IOPS 典型应用场景 代码存储、日志存储、文件共享、企业办公 高性能网站、文件共享、内容管理、图片渲染、AI训练、企业办公 超大规模渲染 最大IOPS、最大带宽两个参数的值均为读写总和。比如最大IOPS=IOPS读+IOPS写。 扩容时,SFS
大容量、低成本 低时延、高IOPS 大带宽、高IOPS 典型应用场景 代码存储、日志存储、文件共享、企业办公 高性能网站、文件共享、内容管理、图片渲染、AI训练、企业办公 超大规模渲染 最高IOPS、最大带宽两个参数的值均为读写总和。比如最高IOPS=IOPS读+IOPS写。 扩容时,SFS
Turbo文件系统数据和实现共享访问,您需要先创建SFS Turbo文件系统,并在多个云服务器上完成挂载操作。 本章节介绍如何在SFS Turbo控制台创建NFS协议的SFS Turbo文件系统,并将SFS Turbo文件系统挂载到ECS实例(Linux)上,实现上传和下载文件等操作。
高性能弹性文件服务与其他服务的关系 表1 与其他云服务的关系 功能 相关服务 位置 云服务器和文件系统归属于同一项目下,用于挂载共享路径实现数据共享。 弹性云服务器(Elastic Cloud Server,ECS) 挂载NFS文件系统到云服务器(Linux) 云容器引擎提供高
创建SFS Turbo文件系统 创建SFS Turbo文件系统,在多个云服务器中挂载使用,实现文件系统的共享访问。 前提条件 创建SFS Turbo文件系统前,确认已有可用的VPC。 如果无VPC,可参考《虚拟私有云用户指南》中的“创建虚拟私有云基本信息及默认子网”章节创建VPC。
近年来,AI快速发展并应用到很多领域中,AI新产品掀起一波又一波热潮,AI应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施,即“大算力、大存力、大运力”的AI基础大设施底座,让算力发展不要偏斜。
Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象。您可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。您可以在上层训练等任务开始前将OBS对象存储桶中的数据提前导入到SFS Turbo中,加速对OBS对象存储中的数据访问;上层任务
root用户挂载NFS协议类型SFS Turbo文件系统到Linux云服务器 当创建文件系统后,您需要使用云服务器来挂载该文件系统,以实现多个云服务器共享使用文件系统的目的。 裸金属服务器、容器(CCE&CCI)操作与云服务器一致。 将SFS Turbo文件系统挂载至CCE:请参
针对性能稳定性和延迟要求不高的场景,SFS Turbo文件系统基于VPC的对等连接功能,可以使用跨账号挂载。更多关于VPC对等连接功能信息和实现方法请参见VPC对等连接。 父主题: SFS Turbo挂载类问题
访问高性能弹性文件服务 与传统的文件共享存储相比,高性能弹性文件服务具有以下优势: 文件共享 同一区域跨多个可用区的云服务器可以访问同一文件系统,实现多台云服务器共同访问和分享文件。 弹性扩展 高性能弹性文件服务可以根据您的使用需求,在不中断应用的情况下,增加文件系统的容量。一键式操作,轻松完成您的容量定制。
统必须处于运行中状态。 暂无法直接对SFS Turbo文件系统进行缩容操作,可以通过购买小容量的新文件系统再将原文件系统数据进行手动迁移,实现“缩容”。 包年/包月的SFS Turbo文件系统扩容 登录高性能弹性文件服务管理控制台。 在SFS Turbo文件系统列表中,单击需要扩容的SFS
Turbo数据迁移实践方案概述 SFS Turbo默认只能被云上同一个VPC内的ECS/CCE访问,用户可通过云专线/VPN/对等连接等方式打通网络,实现多种访问方式。 云下或其他云访问: 云专线/VPN 云上同区域同一账号不同VPC: VPC对等连接 云上同区域跨账号访问: VPC对等连接
数据迁移概述 SFS Turbo默认只能被云上同一个VPC内的ECS/CCE访问,用户可通过云专线/VPN/对等连接等方式打通网络,实现多种访问方式。 云下或其他云访问: 云专线/VPN 云上同区域同一账号不同VPC: VPC对等连接 云上同区域跨账号访问: VPC对等连接 不同区域访问:
支持单文件断点续传。 支持保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性。 支持使用rcp、rsh、ssh等方式来配合传输文件。 支持实现增量迁移,即只迁移发生变化的数据。 如果存在迁移多层级目录且小文件数量较多的情况时,rsync迁移效率将会非常低,建议使用多进程脚本解决或rclone工具迁移。
Transfer)风格API,支持您通过HTTPS请求调用,实现创建、查询、删除、扩容文件系统等操作。 支持区域: 全部 SFS Turbo提供哪些API? SDK SFS Turbo提供多种开发语言的SDK,帮助您轻松实现二次开发。主要支持:Java、Python、Go。 支持区域:
完整的checkpoint到SFS Turbo服务端进行持久化存储,通过异步方式最大程度隐藏了checkpoint持久化到远端存储的耗时,实现checkpoint秒级同步保存,避免训练任务长时间阻塞,异步保存阶段,主节点持久化过程中,内存中写入了相同检查点的备节点会持续监听主节点
Turbo访问控制 访问控制方式 简要说明 详细介绍 权限控制 IAM权限 IAM权限是作用于云资源的,IAM权限定义了允许和拒绝的访问操作,以此实现云资源权限访问控制。管理员创建IAM用户后,需要将用户加入到一个用户组中,IAM可以对这个组授予SFS Turbo所需的权限,组内用户自动继承用户组的所有权限。
前SFS Turbo仅支持LDAP v3协议),常见提供LDAP协议访问的目录服务器实现有OpenLdap(Linux),Active Directory(Windows)等,不同目录服务器的实现细节有所差别,绑定时需要指定对应的Schema(Schema配置错误将会导致SFS