检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方案概述 应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储和网络带宽等基础设施，即“大算力、大存力、大运力”的
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
议您优先采用同VPC访问。 更多关于VPC对等连接信息请参见VPC对等连接。 说明： 创建文件系统时，会在指定的子网下创建IP。 在VPC控制台界面，每个IP 会显示与之关联的资源类型：弹性文件服务 SFS。（仅支持21年8月31号之后创建的文件系统） 企业项目 default
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
例行维护 SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满，会影响业务运行，您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况，并创建告警规则，当容量使用率超过一定阈值，可以发送邮件、短信等告警到运维人员。当收到容量监控告警时，您需要及时清理SFS
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
org/v1.53.4/rclone-v1.53.4-linux-amd64.zip --no-check-certificate unzip rclone-v1.53.4-linux-amd64.zip chmod 0755 ./rclone-*/rclone cp ./rclone-*/rclone
云服务器（ECS）上已配置了用于内网解析SFS Turbo文件系统域名的DNS服务器的IP地址。 使用域名（DNS）挂载SFS Turbo文件系统时，不支持跨区域（Region）挂载，但可以通过指定IP的方式跨区域（Region）挂载，网络互通方式具体参考云连接CC“跨区域VPC互通”。
路由。 DNS终端节点IP的IP地址为xx.xx.xx.xx，所以需要将节点访问DNS的流量指向线下专线网关或VPN网关，然后走专线或VPN访问SFS Turbo。在线下节点配置永久路由，指定访问SFS Turbo的流量下一跳为线下专线网关或VPN网关的IP地址。 route -p
是否必选 参数类型 描述 url 是 String ldap服务器的url，固定格式为 ldap://{ip_address}:{port_number} 或 ldaps://{ip_address}:{port_number}，例如ldap://192.168.xx.xx:60000
是否必选 参数类型 描述 url 否 String ldap服务器的url，固定格式为 ldap://{ip_address}:{port_number} 或 ldaps://{ip_address}:{port_number}，例如ldap://192.168.xx.xx:60000
权限信息，一次最多允许添加5条规则 表4 OnePermRuleRequestInfo 参数 是否必选 参数类型 描述 ip_cidr 否 String 授权对象的IP地址或网段，设置后不支持修改 rw_type 否 String 授权对象的读写权限 rw：默认选项，以读写的方式共享
org/v1.53.4/rclone-v1.53.4-linux-amd64.zip --no-check-certificate unzip rclone-v1.53.4-linux-amd64.zip chmod 0755 ./rclone-*/rclone cp ./rclone-*/rclone
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。
vers=3,timeo=600,noresvport,nolock 挂载地址 本地路径 表1 参数说明 参数 说明 挂载地址 格式为：文件系统IP:/，例如192.168.0.0:/。 说明： x是数字或字母。 由于挂载地址名称较长，需要拉宽该栏以便完整显示。 本地路径 云服务器上用
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
账号的token Content-Type 是 String MIME类型 表3 请求Body参数 参数 是否必选 参数类型 描述 ip_cidr 否 String 授权对象的IP地址或网段，设置后不支持修改 rw_type 否 String 授权对象的读写权限 rw：默认选项，以读写的方式共享
vers=3,timeo=600,noresvport,nolock 挂载地址 本地路径 表1 参数说明 参数 说明 挂载地址 格式为：文件系统IP:/，例如192.168.0.0:/。 说明： x是数字或字母。 由于挂载地址名称较长，需要拉宽该栏以便完整显示。 本地路径 云服务器上用
org/v1.53.4/rclone-v1.53.4-linux-amd64.zip --no-check-certificate unzip rclone-v1.53.4-linux-amd64.zip chmod 0755 ./rclone-*/rclone cp ./rclone-*/rclone
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
