检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进行大规模分子动力学模拟来分析和验证蛋白质在分子和原子水平上的变化的分子动力学模拟领域。 快速地完成高通量药物虚拟筛选从而大量缩短研发周期和减少投入资金的新药研发等领域。 能源勘探:野外作业,勘探地质,对地质资料进行处理和解释以及进行油藏和汽藏的识别要求文件系统内存大、高带宽。
megatron_checkpoint_adaptor模块时,会自动将megatron原生的save_checkpoint和load_checkpoint替换为AITurbo的save_checkpoint和load_checkpoint。 父主题: 加速保存与加载checkpoint
其他操作 SFS Turbo性能测试 使用非root的普通用户挂载文件系统到Linux云服务器 挂载NFS文件系统子目录到云服务器(Linux) 数据迁移
凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和IAM用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公
在文件系统中存放的单个文件最大支持多少? 高性能弹性文件服务支持哪些访问协议? 每个账号最多可以创建多少个文件系统? 一个文件系统最多支持同时挂载到多少台云服务器上?
挂载文件系统 挂载NFS协议类型文件系统到云服务器(Linux) 自动挂载文件系统 父主题: 挂载访问
网络类 是否支持跨VPC访问文件系统? 高性能弹性文件服务支持跨区域挂载吗? VPC的安全组是否影响高性能弹性文件服务的使用? 同时挂载至两个服务器的文件系统数据存在延时怎么办?
高性能弹性文件服务数据迁移 方案概述 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据 SFS容量型文件系统迁移至SFS Turbo文件系统
数据。多台ECS安装NFS客户端后,挂载文件系统,即可实现ECS间的文件共享。Linux客户端建议使用NFS协议。 删除子网 支持区域: 全部 挂载NFS文件系统到云服务器(Linux) 备份 备份是文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。
务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录SFS Turbo的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 CTS支持追踪的SFS
Turbo支持同区域(region)下跨可用区(AZ)挂载。 SFS Turbo可以通过使用云连接CC“跨区域VPC互通”方案将不同区域的vpc内网打通,从而采取指定IP的方式跨区域(Region)挂载。 当您的业务对时延、IOPS指标要求较高时,使用SFS Turbo文件系统进行同区域下跨可用区挂载或者跨
文件系统类型,有效值为STANDARD或者PERFORMANCE。当文件系统正在创建时,该字段不返回。 SFS Turbo上一代文件系统规格类型:标准型和标准型增强版填写STANDARD,性能型和性能型增强版填写PERFORMANCE。 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250M
其他详细信息和操作步骤,请参考《云审计服务用户指南》的“查看追踪事件”章节。 停用/启用追踪器 云审计服务管理控制台支持停用已创建的追踪器。追踪器停用成功后,系统将不再记录新的操作,但是您依旧可以查看已有的操作记录。 登录管理控制台。 在管理控制台左上角单击图标,选择区域和项目。 选择“服务列表
SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
指定,则以上述默认权限为准。 历史版本导入目录和文件的默认权限为755(目录权限)和644(文件权限),现逐步按区域切换为750(目录权限)和640(文件权限),如有疑问,请提交工单咨询。 SFS Turbo绑定OBS桶时或者绑定之后,建议指定导入目录和文件的默认权限。如果您未指
卸载加密文件系统 如果加密文件系统使用的自定义密钥被执行禁用或计划删除操作,当操作生效后,使用该自定义密钥加密的文件系统仅可以在一段时间内(默认为30s)正常使用。请谨慎操作。 卸载文件系统的具体操作请参见卸载文件系统。 父主题: 数据安全
单击按钮,可以自定义事件列表的展示信息。启用表格内容折行开关,可让表格内容自动折行,禁用此功能将会截断文本,默认停用此开关。 关于事件结构的关键字段详解,请参见事件结构和事件样例。 (可选)在新版事件列表页面,单击右上方的“返回旧版”按钮,可切换至旧版事件列表页面。 在旧版事件列表查看审计事件
导致训练中断经常发生。训练程序一般采用周期 checkpoint方案来将训练状态持久化到存储,当发生故障时,训练程序能恢复到故障之前的模型和优化器的状态继续训练。原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,
API概览 通过配合使用高性能弹性文件服务所提供的接口和OpenStack原生接口,您可以完整的使用高性能弹性文件服务的所有功能。 当本文描述内容与上述开源社区的描述不一致时,请以本文描述为准。 生命周期管理接口 表1 生命周期管理接口 接口 说明 创建文件系统 该接口可以创建文件系统。
Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS Turbo进行空间扩容。详情可参见SFS Turbo监控指标说明和创建告警规则。 SFS Turbo性能监控 您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大,大模型参数量变大,导致Checkpo