检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属Re
AITurbo AI场景加速 加速保存与加载checkpoint 父主题： SFS Turbo文件系统
所创建的ACL规则总和不能超过400个。 如果已经在VPC控制台删除文件系统绑定的VPC，该VPC在文件系统绑定的VPC列表下可见且授权的IP地址/地址段为“激活”状态，但此时该VPC已无法进行使用，建议将该VPC从列表中删除。 父主题： 网络配置
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
方案概述 应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储和网络带宽等基础设施，即“大算力、大存力、大运力”的
mount -t nfs -o vers=3,timeo=600,noresvport,nolock 文件系统域名或IP:/子目录 本地路径 文件系统域名或IP：可以从文件系统列表或详情中获取。 SFS容量型：example.com:/share-xxx/子目录 通用文件系统：example
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
文件系统之间迁移数据 方案概述 用户可以将SFS容量型文件系统中的数据迁移至SFS Turbo文件系统中，也可以将SFS Turbo文件系统中的数据迁移至SFS容量型文件系统中，进行云上业务拓展。 此方案通过创建一台Linux操作系统的云服务器，来连接SFS容量型文件系统和SFS
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满，会影响业务运行，您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况，并创建告警规则，当容量使用率超过一定阈值，可以发送邮件、短信等告警到运维人员。当收到容量监控告警时，您需要及时清理SFS
制： VPCID：VPC的ID。 IP：ECS主网口上的租户IPv4地址或IPv4地址段。一条规则只支持设置一个IPv4地址或IPv4地址段，使用掩码形式表示一个地址段，如192.168.1.0-192.168.1.255的地址段的格式为192.168.1.0/24，不支持192
已完成创建文件系统，并获取到文件系统的挂载地址。 存在至少一台与文件系统所属VPC相同的云服务器。 云服务器（ECS）上已配置了用于内网解析文件系统域名的DNS服务器的IP地址，具体配置操作请参见配置DNS。 约束与限制 Windows系统建议使用CIFS协议类型的文件系统。 SFS Turbo文件系统暂不支持挂载至Windows系统的云服务器。
org/v1.53.4/rclone-v1.53.4-linux-amd64.zip --no-check-certificate unzip rclone-v1.53.4-linux-amd64.zip chmod 0755 ./rclone-*/rclone cp ./rclone-*/rclone
节点获取。 创建共享 如下示例是创建文件共享最简单的配置。 { "share": { "description": "test description", "share_type": "default", "name": "share_London"
视频渲染、特效加工需要频繁处理小文件，要求文件系统具有较高的数据读写性能。 弹性文件服务是基于文件系统的共享存储服务，具有高速数据共享，动态分级存储，按需平滑扩展，支持在线扩容等特点，能充分满足媒体处理中用户对存储容量，吞吐量，IOPS（每秒读写次数）和各种工作负荷下低时延的需求。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
