检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速方案概述 应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
可选: 选择对单个任务或者多个任务单击“重试”按钮。 失败的任务会自动重试三次。 通过查看失败原因可以初步定位问题，如果仍有疑问，可联系智能客服。 父主题： 任务管理
视频检测场景。支持如下场景： 政治人物 暴恐元素 涉黄 text_categories 语音或文字审核服务的检测场景。支持如下场景： 政治人物 暴恐元素 涉黄 辱骂 违禁品 use_sis 是否使用语音审核服务。 use_ocr 是否使用文字审核服务。 modera_upload 是否使用问题场景图片上传服务。
介绍几个Go语言及相关开源框架的插件机制 Python精确指南 助您快速上手Python这门近年来越来越流行的语言 智能客服 您好！我是有问必答知识渊博的的智能问答机器人，有问题欢迎随时求助哦！ 社区求助 华为云社区是华为云用户的聚集地。这里有来自各领域的技术牛人，为您解决技术难题。
"RequestId:%s\n", $resp ['RequestId'] ); } }); // 等待桶操作接口调用结果 $promise1 -> wait(); // 构造对象操作请求参数 $requestParam2 = [ 'Bucket' => 'bucketname'
报错NetworkOnMainThreadException NetworkOnMainThreadException 一般是因为网络请求在MainThread类中产生的异常。建议和网络请求有关比较耗时的操作，放到一个子线程里，然后用Handler消息机制与主线程通信。 父主题：
可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS为容量型存储，
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象，您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中，单击
点挖掘、信用分析等场景 FunctionGraph、语音识别、OBS、SIS 语音识别-客服中心语音质检 适用于货运出行行业隐私通话分析、金融保险领域业务洞察分析及安防风控领域反诈威胁分析等场景 FunctionGraph、语音识别、OBS、SIS 无服务器日志实时分析 该解决方
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
查看桶策略解析结果 OBS在桶列表中提供了桶策略配置结果智能解析的能力，桶策略作用于所配置的OBS桶及桶内对象，列表仅统计桶策略的配置结果，不统计ACL。 桶策略的配置结果可能会有时延，具体以实际访问结果为准。 操作步骤 在OBS管理控制台左侧导航栏选择“桶列表”。 您可以在桶列
您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大，大模型参数量变大，导致Checkpoint读加载时间变长时，或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时，您可以对SFS Turbo进行性能扩容，以缩短数据加载时长。详情可参见SFS
Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts：AI开发平台，采用多机多卡分布式训练。 VPC：虚拟私有云和子网。 算法及数据：准备AI训练需要的算法及数据集，如Swin-Transformer算法，及ImageNet21K数据集。
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
