检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶，请参见创建普通OBS桶。 已经安装obsutil，请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址，下载Imagenet21k数据集：http://image-net
name：文件共享的名称，由您自行定义，例如取名为share_London。 size：文件共享大小，单位GB。 is_public：共享的可见程度。设置为true时公共可见，设置为false时私有个人可见，默认值为false。 metadata：共享的metadata信息，一到多个字典形式组织的键值对组成。
受限于文件系统服务端的能力及客户端网卡或CPU等资源能提供的能力。 操作步骤 在挂载NFS文件系统的命令中，增加nconnect参数，建议设置nconnect=4。示例如下： mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp
SFS2和SFS3，其中SFS1的总容量为350TB，SFS2的总容量为50TB，SFS3的总容量为70TB。当对SFS2执行扩容操作时，设置SFS2的新容量不能超过80TB，超过该数值后，系统将提示配额不足，无法继续执行扩容操作。 缩小容量规则 当文件系统处于缩容错误或缩容失败
格文件系统支持目录级配额。 只能对空目录设置配额，删除配额。 支持设置配额的最大目录深度为16层，不允许对根目录使用此功能。（注：根目录为第一层目录） 修改目录配额时，配额只能高于或等于已使用配额，不允许子目录配额高于父目录配额。 建议设置配额目录深度不超过3层，否则会出现修改类
配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo的存储加速方案的过程中
Turbo文件系统，文件系统类型选择“HPC型”，操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶，存储类别为“标准存储”，桶策略为“私有”，操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例，专属资源池提供独享的计算资源，可用于
进入“续费管理”页面。 自定义查询条件。 可在“到期转按需项”页签查询已经设置到期转按需的资源。 可对“手动续费项”、“自动续费项”、“到期不续费项”页签的资源设置到期转按需的操作。 图1 续费管理 设置包年/包月资源到期后转按需。 单个资源到期转按需：选择需要更改计费模式的文件系统，单击操作列“更多
HPC性能不足时，需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况，SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响，默认是16Gbit/s，如果导入导出速度受到OBS读写带宽上限影响，可提交
或者到组织追踪器配置的OBS桶中查看，也可以到组织追踪器配置的CTS/system日志流下面去查看。 用户通过云审计控制台只能查询最近7天的操作记录。如果需要查询超过7天的操作记录，您必须配置转储到对象存储服务(OBS)或云日志服务(LTS)，才可在OBS桶或LTS日志组里面查看
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”，进入“训练作业”列表。 单击右上角的“创建训练作业”，进入“创建训练作业”页面，在该页面填写训练作业相关参数信息。
作系统读业务可提前读取的最大KB数。 在Linux内核5.4版本前，“read_ahead_kb”被设置为挂载参数中rsize的15倍，如果不另外修改挂载参数，则rsize默认设置为1M，“read_ahead_kb”即为15M；在内核5.4及之后版本“read_ahead_kb”被固定为128
Turbo上对这些文件所进行的数据和元数据的修改，会被自动同步到OBS桶里。 DELETED：表示删除数据，在SFS Turbo联动目录下删除文件，OBS桶对应的对象也会被删除，只有被SFS Turbo写入的OBS对象才会被删除。 状态码： 404 表10 响应Body参数 参数 参数类型
的值需设置为enable。为了兼容性，当不设置该参数，或者设置了该参数但是值不为enable时，仍然可以使用接口创建IP地址授权场景的共享访问规则，但是，这种方式已废弃，且后续不再维护。 响应消息 参数说明 参数 参数类型 描述 access Object access对象，如果共享访问规则未更新，这个值为null。
如果您持有多个到期日不同的文件系统，可以将到期日统一设置到一个日期，便于日常管理和续费。 图6展示了用户将两个不同时间到期的资源，同时续费一个月，并设置“统一到期日”后的效果对比。 图6 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。 父主题： 续费
不支持多层目录，不能包含字符'/'。 obs 是 ObsDataRepository object OBS类型后端存储 表4 ObsDataRepository 参数 是否必选 参数类型 描述 bucket 是 String OBS桶名称 endpoint 是 String OBS桶所在的区域域名 policy
数据预热)，export(导出)。 附加元数据导入方式会导入OBS对象的元数据（名称、大小、最后修改时间）以及来源于SFS Turbo 导出时的附加元数据（如uid、gid、mode）。 快速导入方式仅会导入OBS对象的元数据（名称、大小、最后修改时间），不会导入其它附加元数据（如uid、gid、mode），SFS
Turbo上对这些文件所进行的数据和元数据的修改，会被自动同步到OBS桶里。 DELETED：表示删除数据，在SFS Turbo联动目录下删除文件，OBS桶对应的对象也会被删除，只有被SFS Turbo写入的OBS对象才会被删除。 表9 ObsTargetAttributes 参数 参数类型 描述
明细账单”，在筛选条件中选择“资源ID”，并输入步骤2复制的资源ID，单击图标即可搜索该资源的账单。 图2 查询资源账单 这里设置的统计维度为“按使用量”，统计周期为“按账期”，您也可以设置其他统计维度和周期，详细介绍请参见流水与明细账单。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
