检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
il命令行工具使用指导。 OBS针对不同场景提供了多种数据上云方案，您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS，更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
日志打印 场景介绍 提供多个业务节点提供共享的日志输出目录，方便分布式应用的日志收集和管理。业务特点： 多个业务主机挂载同一个共享文件系统，并发打印日志。 大文件小I/O：单个日志文件比较大，但是每次日志的写入I/O比较小。 写I/O密集型：业务以小块的写I/O为主。 配置流程
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
本文提供的成本预估费用仅供参考，资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
一个共享上最多有20个标签。 一个共享上的多个标签的key不允许重复。 此接口为幂等接口：如果要添加的key在共享上已存在，则覆盖更新标签。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象，您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中，单击
等动作。训练作业一般需要运行一段时间，根据您的训练业务逻辑和选择的资源不同，训练时长将持续几十分钟到几小时不等。要查看训练作业实时情况，您可以前往训练作业列表，查看训练作业的基本情况。 父主题： 训练
Turbo，SFS Turbo）提供按需扩展的高性能文件存储，支持同时为多个弹性云服务器（Elastic Cloud Server, ECS）提供文件共享服务。高性能弹性文件服务提供标准的文件访问协议NFS（仅支持NFSv3）和SMB，用户可以将现有应用和工具与高性能弹性文件服务无缝集成。 高性能
同一区域跨多个可用区的云服务器可以访问同一文件系统，实现多台云服务器共同访问和分享文件。 弹性扩展 高性能弹性文件服务可以根据您的使用需求，在不中断应用的情况下，增加文件系统的容量。一键式操作，轻松完成您的容量定制。 高性能、高可靠性 性能随容量增加而提升，同时保障数据的高持久度，满足业务增长需求。 存储
使用非root的普通用户挂载文件系统到Linux云服务器 使用场景 Linux操作系统的弹性云服务器默认只能通过root账号使用mount命令进行挂载文件系统，但可通过赋予其他普通用户root权限，达到使非root的普通用户能够在弹性云服务器上使用mount命令挂载文件系统。以下操作以Euler
挂载选项，用于设置挂载的参数，多个选项之间以逗号进行分隔。 vers：文件系统版本，取值为3代表NFSv3。 timeo：NFS客户端重传请求前的等待时间(单位为0.1秒)。建议值：600。 noresvport：指定NFS客户端向NFS服务端重新发起建立连接时使用新的TCP端口。强烈建议使用nore
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态，请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响，默认是16Gbit/s，如果大模型训练生成的Che
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略： 单击右上角的“创建自定义策略”，进入自定义策略配置页面。
} ] } 示例3：多个授权项策略 一个自定义策略中可以包含多个授权项，且除了可以包含本服务的授权项外，还可以包含其他服务的授权项，可以包含的其他服务必须跟本服务同属性，即都是项目级服务或都是全局级服务。多个授权语句策略描述如下： { "Version":
Turbo文件系统挂载到服务器或容器之后，便可以登录服务器或容器，利用OBS提供的各种工具、API或SDK进行数据迁移。例如，如果希望将SFS Turbo中的数据迁移到OBS中，则需要在服务器或容器中使用OBS的上传功能将数据上传至OBS；反之，使用OBS的下载功能即可将数据从OBS迁移到SFS
Zone）：一个AZ是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放
包年/包月转按需 创建一个包年/包月文件系统后，您可以将该文件系统的计费模式转为按需计费，回收部分成本，同时更加灵活地按需使用文件系统。 包年/包月转按需，需包年/包月资费模式到期后，按需的资费模式才会生效。 约束与限制 目前暂不支持在高性能弹性文件服务控制台进行包年/包月转按需操作，需要在“费用中心
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
