检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更新后端存储自动同步策略 功能介绍 更新后端存储自动同步策略 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见：创建自定义策略。本章为您介绍常用的SFS Turbo自定义策略样例。 SFS Turbo自定义策略样例
取后端存储详细信息接口去轮询绑定完成状态。 如果返回状态为AVAILABLE，代表绑定后端存储成功。 如果返回状态MISCONFIGURED，代表绑定后端存储失败。DELETING 状态暂不支持。 obs ObsDataRepository object OBS类型后端存储 表10
删除后端存储 功能介绍 删除后端存储 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
务端节点建立网络连接。在使用域名挂载时，域名会随机映射到后端的一个IP，可能导致客户端与服务端的网络连接分布不均，从而无法充分利用服务端分布式集群能力。 当客户端数量较少时，如果希望最大限度地利用文件系统性能，一种有效的方法是为每个客户端指定一个不同的服务端IP地址进行挂载。通过
OBS桶所在的区域域名 policy ObsDataRepositoryPolicy object 后端存储自动同步策略 attributes ObsTargetAttributes object 后端存储属性。2024年6月30日及之前创建，且未升级的文件系统版本不支持该参数，请提工单处理。 表9
OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts：AI开发平台，采用多机多卡分布式训练。 VPC：虚拟私有云和子网。
存储联动管理 绑定后端存储 查询后端存储列表 获取后端存储详细信息 删除后端存储 更新后端存储属性 更新后端存储自动同步策略 创建数据导入导出任务 查询数据导入导出任务详情 查询数据导入导出任务列表 删除数据导入导出任务 更新文件系统 父主题： API
OBS桶所在的区域域名 policy ObsDataRepositoryPolicy object 后端存储自动同步策略 attributes ObsTargetAttributes object 后端存储属性。2024年6月30日及之前创建，且未升级的文件系统版本不支持该参数，请提工单处理。 表7
bo”的桶策略，请不要修改或删除该桶策略，否则可能导致联动功能异常。 如果您已将一个或多个SFS Turbo文件系统绑定了OBS存储桶，在删除文件系统或删除绑定之前，请不要删除该OBS存储桶，否则可能导致联动功能异常。 以桶名为“obs-test”的OBS桶为例，桶策略“Poli
更新后端存储属性 功能介绍 更新后端存储属性 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
的容量定制。 高性能、高可靠性 性能随容量增加而提升，同时保障数据的高持久度，满足业务增长需求。 存储底层包含HDD和SSD两种存储介质；存储系统采用分布式存储架构，全模块架构冗余设计，无单一故障点。 无缝集成 高性能弹性文件服务同时支持NFS和SMB协议。通过标准协议访问数据，
HPC型文件系统来加速对OBS对象存储中的数据访问，并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案 方案优势 华为云AI云存储解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势
或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时，您可以对SFS Turbo进行性能扩容，以缩短数据加载时长。详情可参见SFS Turbo监控指标说明和创建告警规则。 调整SFS Turbo数据淘汰策略 操作指导请参考配置SFS Turbo数据淘汰策略。 SFS Turbo容量及性能扩容
] } 单击“确定”，完成自定义策略创建。 配置调用VPC接口的自定义策略： 单击右上角的“创建自定义策略”，进入自定义策略配置页面。 输入“策略名称”，用户可根据需要自定义，例如“委托modelarts操作SFS Turbo-2” “策略配置方式”选择选择“可视化视图”或者
配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
日志打印 场景介绍 提供多个业务节点提供共享的日志输出目录，方便分布式应用的日志收集和管理。业务特点： 多个业务主机挂载同一个共享文件系统，并发打印日志。 大文件小I/O：单个日志文件比较大，但是每次日志的写入I/O比较小。 写I/O密集型：业务以小块的写I/O为主。 配置流程
Turbo文件系统，文件系统类型选择“HPC型”，操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶，存储类别为“标准存储”，桶策略为“私有”，操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例，专属资源池提供独享的计算资源，
HPC型文件系统：创建1个SFS Turbo文件系统，文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶：创建1个OBS桶，存储类别为“标准存储”，桶策略为“私有”。 创建ModelArts资源池：创建1个专属资源池。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
