检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
获取访问密钥（AK/SK） IAM用户若希望使用AK/SK访问SFS，必须要账号为其开启“编程访问”。开启方法请参见查看或修改IAM用户信息。 在调用接口的时候，需要使用AK/SK进行签名验证。AK/SK获取步骤如下： 登录控制台。 鼠标指向界面右上角的登录用户名，在下拉列表中单击“我的凭证”。
ction）请参考权限及授权项说明。 目前华为云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
I训练，建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务，训练速度加快可以节省AI算力费用。 文件系统使用空间不足，可以扩容吗？ SFS Turbo文件系统支持在线扩容，扩容过程中挂载文件系统可能失败，建议业务低峰期扩容。 父主题： 面向AI场景使用OBS+SFS
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
本文提供的成本预估费用仅供参考，资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
0/0（可配置，此处表示放通所有IP地址） 一个端口对应一条访问规则，所有端口信息需逐条添加。 IP地址使用掩码表示，如192.168.1.0-192.168.1.255的地址段应使用掩码形式：192.168.1.0/24。如果源地址为0.0.0.0/0，则表示放通所有IP地址。更多详情请参见安全组和安全组规则概述。
Turbo HPC型文件系统存储空间被写满，会影响业务运行，您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况，并创建告警规则，当容量使用率超过一定阈值，可以发送邮件、短信等告警到运维人员。当收到容量监控告警时，您需要及时清理SFS Turbo存储空间、或缩短
该指标用于统计文件系统已用容量。 单位：byte ≥ 0 bytes 高性能弹性文件服务 1分钟 used_capacity_percent 容量使用率 该指标用于统计文件系统已用容量占总容量的比例。 单位：百分比 0 - 100% 高性能弹性文件服务 1分钟 used_inode 已用inode数
Turbo文件系统中，请参考通过云专线迁移数据至高性能弹性文件服务。 已开通高性能弹性文件服务。 配置参考 登录高性能弹性文件服务管理控制台。 在左侧导航栏，选择“SFS Turbo > 文件系统列表”。在页面右上角单击“创建文件系统”。 在创建文件系统页面，根据界面提示配置参数。 配置完
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
持以邮箱、短信、HTTP、HTTPS等方式通知用户，让用户在第一时间得知云服务发生异常，迅速处理故障，避免因资源问题造成业务损失。 云监控使用消息通知服务向用户通知告警信息。首先，您需要在消息通知服务界面创建一个主题并为这个主题添加相关的订阅者，然后在添加告警规则的时候，您需要开
单击管理控制台左上角的，选择区域。 选择“服务列表 > 计算 > 弹性云服务器”。 单击左侧导航树中的“弹性云服务器”，在服务器界面选择目标服务器。进入目标服务器详情。 选择“安全组”页签，选择目标安全组，弹性云服务器界面单击列表左侧“配置规则”。 在安全组界面，选择“入方向规则”页签，单击“添加规则
文件系统的计费模式为“按需计费”。 文件系统状态为“可用”。 操作步骤 登录高性能弹性文件服务管理控制台。 登录管理控制台。 单击管理控制台左上角的，选择区域。 单击左侧导航栏的图标，选择“存储 > 高性能弹性文件服务 SFS”。 在文件系统列表页，选中目标文件系统。 单击“操作”列下的“更多 > 转包周期”。
Turbo文件系统中，请参考通过云专线迁移数据至高性能弹性文件服务。 已开通高性能弹性文件服务。 配置参考 登录高性能弹性文件服务管理控制台。 在左侧导航栏，选择“SFS Turbo > 文件系统列表”。在页面右上角单击“创建文件系统”。 在创建文件系统页面，根据界面提示配置参数。 配置完
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
il命令行工具使用指导。 OBS针对不同场景提供了多种数据上云方案，您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS，更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
