检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略”,进入自定义策略配置页面。
如何使用非root的普通用户挂载文件系统到Linux云服务器 使用场景 Linux操作系统的弹性云服务器默认只能通过root账号使用mount命令进行挂载文件系统,但可通过赋予其他普通用户root权限,达到使非root的普通用户能够在弹性云服务器上使用mount命令挂载文件系统。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
信息,每条记录有6个字段,对应的字段说明请参见字段说明。 为获得最优的系统性能,建议按照“配置样例”进行配置。如果业务需要,您也可以根据实际情况自定义部分挂载参数,但变更配置后将会在一定程度上影响系统性能。 单击“Esc”,并输入:wq,保存文件并退出。 完成上述配置后,当云服务
当前通用文件系统不支持UDP传输协议,需要设置为TCP传输协议,即proto=tcp。 挂载地址 SFS Turbo标准型、标准型-增强版、性能型、性能型-增强版文件系统的格式为:文件系统IP:/,例如192.168.0.0:/。 SFS Turbo 20MB/s/TiB、40MB/s
非root普通用户挂载SFS Turbo文件系统到Linux云服务器 使用场景 Linux操作系统的弹性云服务器默认只能通过root账号使用mount命令进行挂载文件系统,但可通过赋予其他普通用户root权限,达到使非root的普通用户能够在弹性云服务器上使用mount命令挂载文件系统。以下操作以Euler
挂载NFS协议类型的SFS Turbo文件系统子目录到Linux云服务器 本章节介绍如何将NFS文件系统的子目录挂载至Linux云服务器上。 前提条件 已参考root用户挂载NFS协议类型SFS Turbo文件系统到Linux云服务器成功将文件系统挂载至Linux云服务器上。 操作步骤