检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
监控与审计 使用CES监控SFS Turbo文件系统 使用CTS审计SFS Turbo文件系统
约束与限制 表1 SFS Turbo文件系统限制 限制项 标准型、标准型-增强版、性能型、性能型-增强版 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB HPC缓存型 支持访问方式 VPN/专线/云连接
不支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。关于IAM项目与企业项目的区别,详情请参见:IAM与企业管理的区别。 “√”表示支持,“x”表示暂不支持。 高性能弹性文件服务支持的自定义策略授权项如下所示: 【示例】文件系统,包含SFS
加速保存与加载checkpoint 加速原理与安装AITurbo SDK 适配pytorch 父主题: AITurbo AI场景加速
身份认证与访问控制 服务的访问控制 父主题: 安全
拟机的操作系统,虚拟防火墙、API 网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。
时长计费。按需计费模式允许您根据实际业务需求灵活地调整资源使用,无需提前预置资源,从而降低预置过多或不足的风险。 表1列出了两种计费模式的区别。 表1 计费模式 计费模式 包年/包月 按需计费 付费方式 预付费 按照订单的购买周期结算。 后付费 按照文件系统实际使用时长计费。 计费周期
加速原理与安装AITurbo SDK 背景 当前,大模型训练往往使用成百上千加速卡训练几周到几个月不等。在训练过程中,故障导致训练中断经常发生。训练程序一般采用周期 checkpoint方案来将训练状态持久化到存储,当发生故障时,训练程序能恢复到故障之前的模型和优化器的状态继续训
参数类型 描述 url String ldap服务器的url base_dn String 数据库中的域 user_dn String 用户区别名 filter_condition String 过滤条件。保留字段,暂不支持 backup_url String ldap备节点的url
户加入到一个用户组中,IAM可以对这个组授予SFS Turbo所需的权限,组内用户自动继承用户组的所有权限。 权限管理 父主题: 身份认证与访问控制
dap://192.168.xx.xx:60000 base_dn 是 String 数据库中的域 user_dn 否 String 用户区别名 password 否 String ldap认证密码 vpc_id 否 String 一般不涉及。仅在SFSTurbo支持多VPC的场
dap://192.168.xx.xx:60000 base_dn 否 String 数据库中的域 user_dn 否 String 用户区别名 password 否 String ldap认证密码 vpc_id 否 String vpc的id filter_condition 否
使用CES监控SFS Turbo文件系统 监控指标说明 创建告警规则 父主题: 监控与审计
使用CTS审计SFS Turbo文件系统 支持审计的关键操作 查询SFS Turbo审计事件 父主题: 监控与审计
选择创建的主题,这样在云服务发生异常时,云监控可以实时的将告警信息以广播的方式通知这些订阅者。 创建告警规则 登录管理控制台。 单击“管理与监管 > 云监控服务 > 云服务监控 > 弹性文件服务Turbo EFS > 资源详情” 。 选择目标文件系统,单击“操作”列下的“创建告警规则”。
sfs_turbo deleteShare 查看追踪事件 登录管理控制台。 在管理控制台左上角单击图标,选择区域。 选择“服务列表 > 管理与监管 > 云审计服务”,进入云审计服务信息页面。 单击左侧导航树的“事件列表”,进入事件列表信息页面。 在过滤条件查询框中,依次选择“事件来源
和load_checkpoint替换为AITurbo的save_checkpoint和load_checkpoint。 父主题: 加速保存与加载checkpoint
进入监控图表页面。 入口一:选择“存储 > 弹性文件服务”,在文件系统列表单击查看监控数据的文件系统“操作”列下的“监控”。 入口二:选择“管理与监管 > 云监控服务> 云服务监控 > 弹性文件服务Turbo EFS > 资源详情”,在文件系统列表中,单击待查看监控数据的文件系统“操作”列下的“查看监控指标”。
类事件操作记录,5分钟后才可通过云审计控制台查询数据类事件操作记录。 在新版事件列表查看审计事件 登录管理控制台。 单击左上角,选择“管理与监管 > 云审计服务 CTS”,进入云审计服务页面。 单击左侧导航树的“事件列表”,进入事件列表信息页面。 事件列表支持通过高级搜索来查询对
操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。 当客户端与服务端之间网络延迟较高(例如在线下IDC访问云上NFS文件系统和跨Region挂载NFS