检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts：AI开发平台，采用多机多卡分布式训练。 VPC：虚拟私有云和子网。 算法及数据：准备AI训练需要的算法及数据集，如Swin-Transformer算法，及ImageNet21K数据集。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题： 实施步骤
getNewlyTransferredBytes() long 新增的字节数。 getTransferredBytes() long 已传输的字节数。 getTotalBytes() long 待传输的字节数。 表6 ExtensionObjectPermissionEnum 常量值 说明 GRANT_READ
您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大，大模型参数量变大，导致Checkpoint读加载时间变长时，或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时，您可以对SFS Turbo进行性能扩容，以缩短数据加载时长。详情可参见SFS
getNewlyTransferredBytes() long 新增的字节数。 getTransferredBytes() long 已传输的字节数。 getTotalBytes() long 待传输的字节数。 表7 ExtensionObjectPermissionEnum 常量值 说明 GRANT_READ
描述 DeleteResult 批删响应的根节点。 类型：Container Deleted 删除成功结果的Container。 类型：Container Error 删除失败结果的Container。 类型：Container EncodingType 对响应中的Key进行指定类型
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。
取值范围： 有效值支持两种格式： regionID:domainID(账号ID):key/key_id key_id 其中： regionID是使用密钥所属region的ID，可在地区和终端节点页面获取； domainID是使用密钥所属账号的账号ID，获取方法参见如何获取账号ID和用户ID？；
管理失败队列 前提条件 任务列表中存在失败的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“失败”按钮。 图1 失败队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 可选: 选择对单个任务或者多个任务单击“重试”按钮。
取值范围： 有效值支持两种格式： regionID:domainID(账号ID):key/key_id key_id 其中： regionID是使用密钥所属region的ID，可在地区和终端节点页面获取； domainID是使用密钥所属账号的账号ID，获取方法参见如何获取账号ID和用户ID？；
取值范围： 有效值支持两种格式： regionID:domainID(账号ID):key/key_id key_id 其中： regionID是使用密钥所属region的ID，可在地区和终端节点页面获取； domainID是使用密钥所属账号的账号ID，获取方法参见如何获取账号ID和用户ID？；
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象，您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中，单击
取值范围： 有效值支持两种格式： regionID:domainID(账号ID):key/key_id key_id 其中： regionID是使用密钥所属region的ID，可在地区和终端节点页面获取； domainID是使用密钥所属账号的账号ID，获取方法参见如何获取账号ID和用户ID？；
取值范围： 有效值支持两种格式： regionID:domainID(账号ID):key/key_id key_id 其中： regionID是使用密钥所属region的ID，可在地区和终端节点页面获取； domainID是使用密钥所属账号的账号ID，获取方法参见如何获取账号ID和用户ID？；
取值范围： 有效值支持两种格式： regionID:domainID(账号ID):key/key_id key_id 其中： regionID是使用密钥所属region的ID，可在地区和终端节点页面获取； domainID是使用密钥所属账号的账号ID，获取方法参见如何获取账号ID和用户ID？(Harmony
取值范围： 有效值支持两种格式： regionID:domainID(账号ID):key/key_id key_id 其中： regionID是使用密钥所属region的ID，可在地区和终端节点页面获取； domainID是使用密钥所属账号的账号ID，获取方法参见如何获取账号ID和用户ID？；
取值范围： 有效值支持两种格式： regionID:domainID(账号ID):key/key_id key_id 其中： regionID是使用密钥所属region的ID，可在地区和终端节点页面获取； domainID是使用密钥所属账号的账号ID，获取方法参见如何获取账号ID和用户ID？；
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”，单击右上角的“创建自定义策略”，进入自定义策略配置页面。 输入“策略
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集，并上传ImageNet21K数据集至OBS，详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案，您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS，更多内容请参考数据上云方案。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
