检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
t权限,达到使非root的普通用户能够在弹性云服务器上使用mount命令挂载文件系统。以下操作以Euler OS系统的弹性云服务器为例介绍如何通过普通用户账号将文件系统挂载到Linux云服务器。 操作前提 云服务器中已创建非root的普通用户。 已创建文件系统,并能通过root账号成功挂载到云服务器上。
配置多账号访问 操作场景 SFS Turbo文件系统基于VPC的对等连接功能,实现跨账号访问。更多关于VPC对等连接功能信息和实现方法请参见VPC对等连接。 使用限制 一个文件系统最多可以添加20个可用的VPC,对于添加的VPC所创建的ACL规则总和不能超过400个。 如果已经在
VPC的安全组是否影响弹性文件服务的使用? 同时挂载至两个服务器的文件系统数据存在延时怎么办? 如何购买弹性文件服务? 如何查看资源包的使用量? 如何确认Linux云服务器上的文件系统处于可用状态? 如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 更多 概念类 什么是弹性文件服务? 什么是SFS
字符串“share_used”。 以字符串“#sfs”开头。 metadata字段说明(创建共享,同时共享具有数据加密功能) 创建具有数据加密功能的共享时,请首先参考《数据加密服务API参考》中的“查询密钥列表”章节通过HTTPS请求获取加密密钥的密钥ID、DomainID和密钥别
大量小文件:存放网站静态文件,包括HTML文件,Json文件,静态图片等。 读I/O密集:业务以小文件读为主,数据写入相对较少。 多个Web Server访问同一个SFS Turbo后台,实现网站业务的高可用。 配置流程 整理好网站文件。 登录弹性文件服务控制台,创建一个SFS Turbo文件系统用于存放网站文件。
区域和可用区 什么是区域、可用区? 区域和可用区用来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Re
共享、高性能计算、数据备份等。SFS容量型文件系统不适合海量小文件业务,推荐使用SFS Turbo文件系统。 时延是指低负载情况下的最低延迟,非稳定时延。 10MB以上为大文件,1MB以上为大IO。 SFS容量型文件系统目前已售罄,请使用通用文件系统,涉及数据迁移的客户可提交工单解决。
NFS(Network File System),即网络文件系统。一种使用于分散式文件系统的协议,通过网络让不同的机器、不同的操作系统能够彼此分享数据。 Linux系统建议使用NFS协议类型的文件系统。 CIFS CIFS(Common Internet File System),通用I
配置简单,无须编写脚本或手动迁移数据 您只需设置生命周期规则,通用文件系统会自动将符合生命周期规则的数据转储至低频存储,无须复杂、高风险的数据迁移操作。 成本低 低频存储相比普通文件存储的费用低。 低频存储的计费相关内容请详见计费项。 转换为低频存储的数据可正常访问 数据转储为低频存储后,文
当“资源层级”选择“云产品”时,关联模板中指定云产品策略修改后,会自动同步,其他云产品策略修改后不会自动同步。 当“资源层级”选择“子维度”时,模板中指定维度的策略修改后,会自动同步,其他维度策略修改后不会自动同步。 自定义创建 模板 当告警类型选择指标且触发规则选择关联模板时,或
挂载NFS协议类型文件系统到云服务器(Windows) 当创建文件系统后,您需要使用云服务器来挂载该文件系统,以实现多个云服务器共享使用文件系统的目的。 本章节以Windows 2012版本操作系统为例进行NFS文件系统挂载,其他版本请参考以下主要步骤根据实际界面进行配置。 同一
本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划 资源 资源说明 弹性云服务器ECS 云服务器和文件系统归属于同一项目下,用于挂载共享路径实现数据共享。 虚拟私有云VPC VPC为弹性云服务器构建隔离的、用户自主配置和管理的虚拟网络环境,提升用户云中资源的安全性,简化用户的网络部署。
出现这样的错误。 使用正确的XML格式重试。 400 Bad Request MetadataTooLarge 元数据消息头超过了允许的最大元数据大小。 减少元数据消息头。 400 Bad Request MissingRegion 请求中缺少Region信息,且系统无默认Region。
SFS提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的文件存储系统的使用情况,执行自动实时监控、告警和通知操作。用户可以实时监控弹性文件服务的客户端连接数、带宽、IOPS、容量等信息。 关于SFS支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。 父主题: 安全
删除文件系统 文件系统删除后,文件系统中存放的数据将无法恢复。为避免数据丢失,执行删除操作前,请确认存放在该文件系统中的文件都已经在本地备份。 前提条件 删除文件系统之前,请先卸载已挂载的文件系统。卸载操作请参见卸载文件系统。 操作步骤 登录弹性文件服务管理控制台。 在文件系统列表中,单击指定文件系统所在行的“更多
时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进行性能扩容,以缩短数据加载时长。详情可参见SFS Turbo监控指标说明和创建告警规则。 调整SFS Turbo数据淘汰策略 操作指导请参考配置SFS Turbo数据淘汰策略。 SFS
前SFS Turbo仅支持LDAP v3协议),常见提供LDAP协议访问的目录服务器实现有OpenLdap(Linux),Active Directory(Windows)等,不同目录服务器的实现细节有所差别,绑定时需要指定对应的Schema(Schema配置错误将会导致SFS
查询SFS审计事件 操作场景 用户进入云审计服务创建管理类追踪器后,系统开始记录云服务资源的操作。云审计服务管理控制台会保存最近7天的操作记录。 本节介绍如何在云审计服务管理控制台查看或导出最近7天的操作记录: 在新版事件列表查看审计事件 在旧版事件列表查看审计事件 使用限制 单账号跟踪的事件可