正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提升Linux操作系统单客户端访问SFS Turbo的性能 操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。 当客户端与服务端之间网络延迟较高
创建文件系统异步任务 功能介绍 创建文件系统异步任务,仅支持异步查询目录资源使用情况,API请求路径的feature取值为dir-usage,以下简称为DU任务。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。如果存在10个正在执行的任务,则不允许创建新任务。
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
查询文件系统的某一个权限规则 功能介绍 查询文件系统的某一个权限规则 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/sfs-turbo/shares/{share_id}/fs/perm-rules/{rule_id} 表1 路径参数 参数 是否必选
挂载至两种服务器系统的文件系统无法写入数据 现象描述 当将同一个文件系统分别挂载到已创建的Linux云服务器和Windows云服务器后,在Windows云服务器上无法对在Linux云服务器上创建的文件写入数据。 可能原因 由于共享的NFS文件系统归属于root权限,且无法修改该所
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
OBS区域域名,即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS Turbo云服务”。 单击“确定”,完成绑定。 父主题: 基本配置
如何从云服务器访问SFS Turbo文件系统? 要访问您的文件系统,如果是Linux云服务器,您需要在Linux云服务器上安装NFS客户端后使用挂载命令挂载文件系统或使用正确的用户和权限,直接输入SMB文件系统的挂载地址,挂载SMB类型的文件系统。挂载完成后,可共享您的文件系统中的文件和目录。
如何提高SFS Turbo文件系统拷贝和删除操作的效率? Linux常用cp、rm、tar命令,默认属于串行操作,无法发挥网络文件系统的并发优势,需要用户并发执行以上命令,提升执行效率。 父主题: 其他类
使用场景 Linux操作系统的弹性云服务器默认只能通过root账号使用mount命令进行挂载文件系统,但可通过赋予其他普通用户root权限,达到使非root的普通用户能够在弹性云服务器上使用mount命令挂载文件系统。以下操作以Euler OS系统的弹性云服务器为例介绍如何通过普通
获取文件系统异步任务列表 功能介绍 获取文件系统异步任务列表。仅支持查询目录资源使用情况的任务,API请求路径的feature取值为dir-usage,以下简称为DU任务。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。后端有5min的缓存时间,查询的数据可能
挂载NFS文件系统子目录到云服务器(Linux) 本章节介绍如何将NFS文件系统的子目录挂载至Linux云服务器上。 前提条件 已参考挂载NFS文件系统到云服务器(Linux)成功将文件系统挂载至Linux云服务器上。 操作步骤 执行如下命令,在本地路径下创建文件系统的子目录。 mkdir
查询SFS Turbo审计事件 操作场景 用户进入云审计服务创建管理类追踪器后,系统开始记录云服务资源的操作。云审计服务管理控制台会保存最近7天的操作记录。 本节介绍如何在云审计服务管理控制台查看或导出最近7天的操作记录: 在新版事件列表查看审计事件 在旧版事件列表查看审计事件 使用限制
、ctime和mtime属性是当前时间,每次查询根目录属性返回的都是服务端当时时间的值。 操作步骤 以root用户登录弹性云服务器。 若以非root用户登录弹性云服务器,具体操作请参考使用非root的普通用户挂载文件系统到Linux云服务器。 安装NFS客户端。 安装NFS客户端。
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
如何确认Linux云服务器上的SFS Turbo文件系统处于可用状态? 以root用户登录云服务器,执行“showmount -e 文件系统域名或IP”命令,回显如下内容,则代表命令中“文件系统域名或IP”对应的SFS Turbo文件系统处于可用状态。 Export list for
一个文件系统最多支持同时挂载到多少台云服务器上? 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB、HPC缓存型等类型的SFS Turbo文件系统最多支持同时挂载到3000台云服务器上;
同时挂载至两个服务器的文件系统数据存在延时怎么办? 现象描述 当服务器A和服务器B同时挂载同一文件系统C时,在服务器A上传文件,服务器B同步此文件时存在延时,而单独上传至服务器B则没有延时。 定位思路 需要在两个服务器的挂载参数中增加参数noac和lookupcache=none。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net