检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FS文件系统的场景下），且您需要达到较高的带宽或IOPS时，建议开启该功能； 开启nconnect后对于单并发、小IO数据块等场景会有一定的时延增加，当您的业务为小并发的延迟敏感型时，不建议开启该功能； nconnect功能开启后，可以提升NFS客户端与服务端之间的吞吐性能，最终
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
训练数据的读取要尽量读得快，减少计算对 I/O 的等待，而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间
明。 须知： 本文提供的成本预估费用仅供参考，资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。 填写训练作业相关参数信息，以下配置项请按要求填写，其余参数配置请参考创建训练作业根据您的自身情况选择。
使用非root的普通用户挂载文件系统到Linux云服务器 使用场景 Linux操作系统的弹性云服务器默认只能通过root账号使用mount命令进行挂载文件系统，但可通过赋予其他普通用户root权限，达到使非root的普通用户能够在弹性云服务器上使用mount命令挂载文件系统。以下操作以Euler
Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中，单击创建的HPC型文件系统名称，进入文件系统详情页面。
HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象，您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中，单击创建资源中创建的HPC型文件系统，进入文件系统详情页面。 进入页
lookupcache是和目录项缓存相关的一个参数，这个参数的取值可以是all，none，pos或者positive。lookupcache=none表示客户端既不信任标记为positive的缓存，也不信任标记为negative的缓存，达到禁用缓存的效果。 解决方法 如果已挂载文件系统，请先参考卸载文件系统完成卸载操作。
Turbo后，可直接在ModelArts的Notebook开发及训练环境中挂载SFS Turbo共享文件系统，并访问其中的数据。 登录ModelArts管理控制台，创建网络并打通创建资源中创建的创建虚拟私有云和子网，详细步骤参见ModelArts网络。 单击1中创建生成的资源池“网络”所在行的“更多”，选择“关联sfsturbo”。
Turbo通过IAM权限方式进行权限管理。您可以通过IAM自定义策略授予IAM用户细粒度的SFS Turbo权限，用来控制文件系统的读写权限。 全部 备份文件系统 备份是文件系统在某一时间点的完整备份，记录了这一时刻文件系统的所有配置数据和业务数据。当您的文件系统出现故障或文件系统中的数据发生逻辑错误等时，可快速使用备份恢复数据。
found 对象不存在或没有权限 请使用合法的参数重试。 400 SFS.TURBO.0003 Invalid name 名称不符合规则 请使用合法的参数重试。 400 SFS.TURBO.0004 Invalid vpc 指定的vpc无效 请使用合法的参数重试。 400/500 SFS.TURBO
Turbo文件系统进行缩容操作，可以通过购买小容量的新文件系统再将原文件系统数据进行手动迁移，实现“缩容”。 包年/包月的SFS Turbo文件系统扩容 登录高性能弹性文件服务管理控制台。 在SFS Turbo文件系统列表中，单击需要扩容的SFS Turbo文件系统所在行的“扩容”，进入“扩容”页面。
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中，数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁，不需要通过数据联动来做数据
Turbo文件系统自动续费配置 在续费管理页面开通自动续费 登录管理控制台。 单击“控制台”页面上方“费用”，在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。 可对“手动续费项”、“到期转按需项”、“到期不续费项”页签的资源开通自动续费。
企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理，默认项目为default。 请从下拉列表中选择所在的企业项目。 说明： 开通了企业项目的用户，或者权限为企业主账号的用户才可以看到控制台页面上方的“企业”入口。如需使用该功能，请联系您的客户经理申请开通。
系统只会保留最近创建的1000条任务记录，之前的任务记录系统将会自动删除。 在绑定后端存储列表页，单击界面左上角的“任务状态”。 执行导出数据操作，可查看对应操作的任务记录。单击状态右边的可查看成功或失败的次数。 在右上角的搜索框，支持对状态、类型、创建时间进行过滤，找到您需要的任务。 FAQ
户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对ECS服务，管理员能够控制IAM
本章节介绍如何通过控制台完成添加授权地址进行权限管理。 如果您想通过API调用完成文件系统权限管理，请参考《高性能弹性文件服务API参考》权限管理章节。 登录高性能弹性文件服务管理控制台。 在SFS Turbo文件系统列表中，找到待添加授权地址的SFS Turbo文件系统并单击目标文件系统名称，进入文件系统详情界面。
TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB等类型的文件系统支持标准的NFSv3协议；标准型、性能型等类型的文件系统仅支持NFSv3协议。 父主题： 规格类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
