检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。
适用于多种应用场景,包括AI训练、AIGC、自动驾驶、渲染、EDA仿真、企业NAS应用等。 SFS Turbo为用户提供更为丰富的文件系统规格选择,助力更多不同场景下的业务成功上云。 表1 SFS Turbo文件系统 参数 20MB/s/TiB 40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB
MB,用户可以将现有应用和工具与高性能弹性文件服务无缝集成。 高性能弹性文件服务提供简单易用的操作界面,用户可以快捷地创建和管理文件系统,无需操心文件系统的部署、扩展和优化等运维事务。 此外,高性能弹性文件服务还具备高可靠和高可用的特点,支持根据业务需要弹性扩容,且性能随容量增加
相关费用可在管理控制台 > 费用中心 > 总览“欠费金额”查看,华为云将在您充值时自动扣取欠费金额。 如果您在宽限期内仍未支付欠款,资源进入保留期,资源状态变为“已冻结”,资源将被限制访问和使用。例如SFS Turbo文件系统被冻结时,SFS Turbo文件系统IO会被限制。
的数据,不能保证完全同步。 前提条件 已在云上和本地分别创建一台Linux操作系统的服务器。 服务器已完成弹性IP的配置,保证两台服务器间可以相互访问。 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 资源规划 本章节介绍案例中使用的资源信息。具体如表1所示。
服务器已完成弹性IP的配置,保证两台服务器间可以相互访问。 已创建SFS Turbo文件系统,并获取到文件系统的挂载地址。 已经获取到本地NAS存储的挂载地址。 操作步骤 登录弹性云服务器管理控制台。 登录已创建的本地服务器client1,执行以下命令,用于访问本地NAS存储。 mount
请求响应成功后,返回SFS Turbo文件系统的id和name。 若请求失败,则会返回错误码及对应的错误信息说明,详细错误码信息请参考对应API接口的异常返回值。 根据返回的文件系统id查询SFS Turbo文件系统详情,具体操作请参考查询文件系统详细信息。 查询文件系统详情返回状态status为“200”,则表示创建SFS
求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
此步骤请提交工单联系技术支持人员进行支撑配置。 2 创建资源 创建VPC:创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统:创建1个SFS Turbo文件系统,文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。
Turbo文件系统数据存在延时怎么办? SFS Turbo文件系统可以跨区域挂载吗? SFS Turbo文件系统可以跨账号挂载使用吗? 一个SFS Turbo文件系统最多支持同时挂载到多少台云服务器上? 如何使用非root的普通用户挂载文件系统到Linux云服务器 挂载文件系统到子目录失败了怎么办?
Turbo新文件系统,只能创建按需计费的文件系统。 卸载SFS Turbo文件系统 卸载SFS Turbo文件系统前提条件 终止进程和停止读写。 删除SFS Turbo文件系统 删除SFS Turbo文件系统前提条件 卸载已挂载的文件系统。 删除按需计费SFS Turbo文件系统 状态为
公共参数 SFS Turbo文件系统状态 SFS Turbo文件系统子状态
包年/包月转按需 支持变更为包年/包月计费模式。 按需转包年/包月 变更文件系统容量 支持变更文件系统容量。 不支持缩容。 支持扩容,扩容需要补差价。扩容后,文件系统到期时间不变。 支持变更文件系统容量。 不支持缩容。 支持扩容,根据扩容后的容量按需计费。 适用场景 适用于可预
SFS Turbo规格类问题 在SFS Turbo文件系统中存放的单个文件最大支持多少? 每个账号最多可以创建多少个SFS Turbo文件系统?
监控与审计 使用CES监控SFS Turbo文件系统 使用CTS审计SFS Turbo文件系统
SFS Turbo访问类问题 SFS Turbo文件系统可以跨VPC访问吗? 如何从云服务器访问SFS Turbo文件系统? 可以直接从云下访问高性能弹性文件服务吗?
时延在1~2ms左右,最大容量可达320TB。 带宽、IOPS及容量增强。 商用 文件系统类型 2019年1月 序号 功能名称 功能描述 阶段 相关文档 1 SFS Turbo数据备份和恢复 为SFS Turbo文件系统提供简单易用的备份服务,针对病毒入侵、人为误删除、软硬件故障等场景,可将数据恢复到任意备份点。
理高性能弹性文件服务内的资源和费用,详见“保留期”。为了防止相关资源不会被停止服务或者逾期释放,您需要及时进行还款或充值。 查询步骤 登录管理控制台。 单击页面右上角的“费用”进入“费用中心”页面。 在“总览”页面可以查看到当前的欠费金额。 如果存在欠费,请及时充值。 更多关于欠费还款操作,请参考如何进行欠费还款。
础设施也带来全新的挑战。 高吞吐的数据访问挑战:随着企业使用 GPU/NPU 越来越多,底层存储的 IO 已经跟不上计算能力,企业希望存储系统能提供高吞吐的数据访问能力,充分发挥 GPU/NPU 的计算性能,包括训练数据的读取,以及为了容错做的检查点(以下简称Checkpoint