检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
高性能、高可靠性 性能随容量增加而提升,同时保障数据的高持久度,满足业务增长需求。 存储底层包含HDD和SSD两种存储介质;存储系统采用分布式存储架构,全模块架构冗余设计,无单一故障点。 无缝集成 弹性文件服务同时支持NFS和CIFS协议。通过标准协议访问数据,无缝适配主流应用程序进行数据读写。同时兼容SMB2
Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。
个服务端节点建立网络连接。在使用域名挂载时,域名会随机映射到后端的一个IP,导致客户端与服务端的网络连接分布不均,从而无法充分利用服务端分布式集群能力。 当客户端数量较少时,如果希望最大限度地利用文件系统性能,一种有效的方法是为每个客户端指定一个不同的服务端IP地址进行挂载。通过
日志打印 场景介绍 提供多个业务节点提供共享的日志输出目录,方便分布式应用的日志收集和管理。业务特点: 多个业务主机挂载同一个共享文件系统,并发打印日志。 大文件小I/O:单个日志文件比较大,但是每次日志的写入I/O比较小。 写I/O密集型:业务以小块的写I/O为主。 配置流程 登录弹性文件服务控制台,创建一个SFS
务器的资源。 不支持 不支持 缓存加速 不支持 支持(仅保证最终一致性,如需关闭,请提交工单反馈) 说明: 最终一致性意味着当通过多客户端访问共享文件系统时,因为一个客户端的访问请求可能路由到不同的分布式后端,当命中到分布式后端的本地cache时,可能无法实时获取到其他客户端的更
文件系统进行加密。 √ √ × 监控文件系统 云监控服务为用户提供一个针对资源的立体化监控平台。通过云监控,您可以全面了解文件系统的使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 √ √ √ 审计文件系统 弹性文件服务支持通过云审计服务对资源的操作进行记录,以便用户可以查询、审计和回溯。
弹性文件服务会占用用户的哪些资源? 为保证文件系统能够正常使用,弹性文件系统将会占用用户以下资源。 SFS容量型/通用文件系统: 创建文件系统时,会在用户填写的安全组下,开通111、445、2049、2051、2052端口的入规则。默认的源地址为0.0.0.0/0,用户后续可根据自己的实际情况,修改该地址。
配额 什么是配额? 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。如您最多可以创建多少个文件系统。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源
proto=tcp 挂载地址 本地路径 已挂载文件系统的云服务器重启后,该云服务器上的挂载信息将会丢失,您可以通过在fstab文件中配置自动挂载来保证云服务器重启时自动挂载文件系统,具体操作请参见自动挂载文件系统。 表1 参数说明 参数 说明 vers 文件系统版本,目前只支持NFSv3。取值:3。
架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行的开源深度学习框架PyTorch为
可单击“查看虚拟私有云”查看已有VPC的详细信息或申请新的VPC。 了解详细步骤请参考创建文件系统。 Step3 挂载文件系统 登录ECS。可以通过管理控制台或跨平台远程访问工具(例如PuTTY)登录已购买的ECS。 图3 登录ECS 查看ECS是否安装NFS客户端。执行命令:rpm -qa|grep nfs。
工作负荷下低时延的需求。 某生物平台需要软件进行大量的基因测序,但业务处理步骤多,业务部署慢,流程复杂,效率低,易出错,所以自建集群跟不上业务发展。但自从使用了提供专业的高性能计算业务流程管理软件,依托云平台的海量计算资源和存储资源,充分结合云平台和高性能计算特点,大大降低初始投
的时间内为SFS续费,否则文件系统资源会自动释放,数据丢失且不可恢复。 续费操作仅适用于包年/包月SFS,按需计费SFS不需要续费,只需要保证账户余额充足即可。 SFS在到期前续费成功,文件系统的使用不受影响。SFS资源到期后的状态说明,请参见到期后影响。 续费相关的功能 包年/包月SFS续费相关的功能如表1所示。
文件系统加密 SFS容量型/SFS Turbo支持监控 云监控服务为用户提供一个针对资源的立体化监控平台。通过云监控,您可以全面了解文件系统的使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 支持区域: 全部 弹性文件服务监控指标说明 SFS Turbo监控指标说明
示所有用户都有读写权限且不进行权限降级的权限,该权限可以被删除。 使用限制 一个文件系统最多可以配置64条权限规则。 权限可以增删,但需要保证一个文件系统至少有一条权限规则。 网段类型 网段类型配置可以采用两种配置方式。 * : 代表任何ip地址 CIDR格式网段 : CIDR格式地址使用可变长度子网掩码来表示
ch系框架在保存checkpoint时均直接持久化到存储系统,耗时与模型大小、存储的IO性能等密切相关,往往需要几分钟到几十分钟不等,为了保证训练状态的一致性,保存checkpoint时训练必须暂停,保存时间影响了训练过程的整体效率。当发生故障,训练程序从已有checkpoint
的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。
录”。 进入管理控制台后,在控制台左上角的区域下拉框,选择服务所在区域。 选择“存储 > 弹性文件服务”,进入弹性文件服务管理控制台。 为保证您正常使用SFS服务,建议您先充值购买弹性文件服务。购买方式,请参见如何购买弹性文件服务?。 创建SFS容量型文件系统 在左侧导航栏,选择
上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo的存储加速方案的过程中,您可以进行采取以下运维措施,保证系统正常高效运行: SFS Turbo容量监控及告警。 SFS Turbo性能监控。 调整SFS Turbo数据淘汰策略。 SFS Turbo容量及性能扩容。
加密挂载完成后,在此挂载点上的所有文件操作与非加密场景的文件操作一致。 如果stunnel进程异常退出会导致文件操作卡住,可以利用crontab等linux能力,保证stunnel进程退出后自动拉起。 依赖组件 stunnel,crontab FAQ stunnel进程为什么会拉不起来? stunnel