检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 资源详情”,在文件系统列表中,单击待查看监控数据的文件系统“操作”列下的“查看监控指标”。 您可以选择监控指标项或者监控时间段,查看对应的SFS Turbo监控数据。 SFS Turbo监控图标如图1所示,关于云监控的其他操作和更多信息,请参考《云监控服务用户指南》。 图1 SFS
使用CES监控SFS Turbo文件系统 监控指标说明 创建告警规则 父主题: 监控与审计
根据需要可选择从模板导入或自定义创建。 说明: 当监控范围为指定资源时可选择从模板导入。 从模板导入 模板 选择需要导入的模板。 - 告警策略 触发告警规则的告警策略。 当资源类型选择站点监控、日志监控、自定义监控、具体的云服务时,告警策略为一个周期性的动作。当资源类型选择事件监控时,具体的事件为一个瞬间的操作动作,而不是周期性动作。
监控与审计 使用CES监控SFS Turbo文件系统 使用CTS审计SFS Turbo文件系统
监控安全风险 SFS Turbo提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的文件存储系统的使用情况,执行自动实时监控、告警和通知操作。用户可以实时监控高性能弹性文件服务的客户端连接数、带宽、IOPS、容量等信息。 关于SFS Turbo支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。
使用CTS审计SFS Turbo文件系统 支持审计的关键操作 查询SFS Turbo审计事件 父主题: 监控与审计
支持审计的详细操作列表 表1 云审计服务支持的SFS Turbo操作列表 操作名称 资源类型 事件名称 创建文件系统 sfs_turbo createShare 删除文件系统 sfs_turbo deleteShare 查看追踪事件 登录管理控制台。 在管理控制台左上角单击图标,选择区域。
查询SFS Turbo审计事件 操作场景 用户进入云审计服务创建管理类追踪器后,系统开始记录云服务资源的操作。云审计服务管理控制台会保存最近7天的操作记录。 本节介绍如何在云审计服务管理控制台查看或导出最近7天的操作记录: 在新版事件列表查看审计事件 在旧版事件列表查看审计事件 使用限制
Turbo监控指标说明和创建告警规则。 SFS Turbo性能监控 您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大,大模型参数量变大,导致Checkpoint读加载时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS
AITurbo AI场景加速 加速保存与加载checkpoint 父主题: 数据管理
应用场景 近年来,AI快速发展并应用到很多领域中,AI新产品掀起一波又一波热潮,AI应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施,即“大算力、大存力、大运力”的AI基础大设施底座,让算力发展不要偏斜。
查看文件系统 查看文件系统的基本信息,支持按文件系统名称关键字、按文件系统状态等不同过滤条件查看指定的文件系统。 查看SFS Turbo文件系统详情,依赖的服务是虚拟私有云 VPC。需要配置的角色/策略如下: IAM 用户设置了 SFS Turbo ReadOnlyAccess权限后,权限集中包含了
支持文件系统挂载的操作系统 已通过兼容性测试的操作系统如表1所示。 表1 支持文件系统挂载的操作系统列表 类型 版本范围 CentOS CentOS 5,6,7 for x86 Debian Debian GNU/Linux 6,7,8,9 for x86 Oracle Oracle
日志存储、文件共享、内容管理、网站 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 AI训练、自动驾驶、EDA仿真、渲染、企业NAS应用、高性能web应用 大规模AI训练、AI大模型、AIGC 大规模AI训练、AI大模型、AIGC 表2 SFS Turbo上一代文件系统 参数 标准型
删除文件系统 文件系统删除后,文件系统中存放的数据将无法恢复。为避免数据丢失,执行删除操作前,请确认存放在该文件系统中的文件都已经在本地备份。 前提条件 删除文件系统之前,建议先卸载已挂载的文件系统。卸载操作请参见卸载文件系统。 操作步骤 登录高性能弹性文件服务管理控制台。 在文
端存储带宽的需求,加速大规模训练集群checkpoint快速恢复。 图2 加载checkpoint流程 安装AITurbo SDK 安装AITurbo SDK依赖包。 AITurbo SDK依赖rpyc,setproctitle,PyYAML,pathlib2等三方库,安装方式如下:
章节。 当您需要使用文件系统加密功能时,创建SFS Turbo文件系统无需授权。 文件系统加密的密钥 SFS Turbo文件系统无默认密钥,可以使用您已有的密钥或者创建新的密钥,请参见《数据加密服务用户指南》的“创建密钥”章节。 哪些用户有权限使用文件系统加密 安全管理员(拥有“Security
响应Body参数 参数 参数类型 描述 id String SFS Turbo文件系统ID。 name String SFS Turbo文件系统名称。 请求示例 扩容一个文件系统,扩容后的文件系统目标容量是1000GB。 { "extend" : { "new_size"
SFS Turbo文件系统状态 SFS Turbo文件系统状态要素说明 返回值 说明 100 CREATING,正在创建。 200 ACTIVE,激活状态,SFS Turbo文件系统可挂载。 300 FAILED,失败。 303 CREATE_FAILED,创建失败。 400 DELETED,已删除。
删除文件系统 功能介绍 删除文件系统。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/sfs-turbo/shares/{share_id}