检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
NFS(Network File System),即网络文件系统。一种使用于分散式文件系统的协议,通过网络让不同的机器、不同的操作系统能够彼此分享数据。 Linux系统建议使用NFS协议类型的文件系统。 SMB SMB(Server Message Block),是一种网络文件系统访问协议。通过SM
其他类 如何从云服务器访问SFS Turbo文件系统? 如何确认Linux云服务器上的SFS Turbo文件系统处于可用状态? 高性能弹性文件服务会占用用户的哪些资源? 如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移? SFS Turbo文件系统支持多可用区吗?
已开通高性能弹性文件服务。 配置参考 登录高性能弹性文件服务管理控制台。 在左侧导航栏,选择“SFS Turbo >文件系统列表”。在页面右上角单击“创建文件系统”。 在创建文件系统页面,根据界面提示配置参数。 配置完成后,单击“立即创建”,完成文件系统创建。 Linux系统ECS挂载操作
练作业相关参数信息。 填写训练作业相关参数信息,以下配置项请按要求填写,其余参数配置请参考创建训练作业根据您的自身情况选择。 资源池:专属资源池,选择创建资源中创建的ModelArts资源池。 SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。
规格:通用计算增强型 | c6.4xlarge.4 | 16vCPUs | 64GB 镜像:EulerOS 2.5 单队列随机读 fio命令: fio -direct=1 -iodepth=1 -rw=randread -ioengine=libaio -bs=4k -size=10G
不同方式支持的操作系统、迁移数据量、操作简易程度存在差异,推荐您使用obsutil工具进行数据迁移。 为了节省您的开支,建议您配置内网DNS,通过华为云内网完成数据迁移。具体配置方法,请参见通过内网访问OBS。 表1 OBS提供的数据迁移工具 工具 支持的操作系统类型 (支持的具体版本参考对应方式的指导文档)
nfs文件一定是需要被清理的文件,您可以直接使用rm -f命令进行删除,删除之后不会影响文件系统的正常使用。直接删除.nfs文件如果报错,类似如下场景: 图1 删除.nfs文件报错 图中情况则表明有程序仍然在使用该文件,可以使用lsof命令来查看进程号。 图2 查看进程号 如果确认该进程可以结束,可以直接执行kill
region为购买的终端节点所在的区域。 根据界面提示配置参数。 图1 购买终端节点(云服务-接口型) 选择“立即购买 > 提交”,完成创建。 查看连接DNS服务的终端节点创建完成后返回的节点IP。 在用户本地数据中心的DNS服务器配置相应的DNS转发规则,将解析SFS Turbo域名的请求转发到连接DNS服务的终端节点。
"xxxxxxxxxxxxxxxxxx" } } } } 到这里为止这个请求需要的内容就具备齐全了,您可以使用curl、Postman或直接编写代码等方式发送请求调用API。对于获取用户Token接口,返回的响应消息头中的“x-subject-token
解决方法 如果已挂载文件系统,请先参考卸载文件系统完成卸载操作。 参考挂载NFS文件系统到云服务器完成挂载前准备。 挂载文件系统时,使用如下命令进行挂载。 mount -t nfs -o vers=3,timeo=600,noac,lookupcache=none,noresvport
String nas 配置名 type 是 String nas 配置协议类型 url 是 String nas 配置 ip 表7 ConfigObsTarget 参数 是否必选 参数类型 描述 name 是 String obs 配置名 type 是 String obs 配置协议类型 url
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
进入页签“绑定后端存储”,单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS桶”中,填写如下表所示参数。 表1 绑定OBS桶配置参数 参数 含义 限制 配置后可编辑 联动目录名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录,该目录将绑定对应的OBS桶,且该目录名称不能和已有目录重名。
} 单击“确定”,完成自定义策略创建。 配置调用VPC接口的自定义策略: 单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略名称”,用户可根据需要自定义,例如“委托modelarts操作SFS Turbo-2” “策略配置方式”选择选择“可视化视图”或者“JOS
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
如何将SFS Turbo部署至CCE? 请根据实际的业务情况,阅读存储管理-CSI-存储概述或存储管理-Flexvolume-极速文件存储卷,并在CCE界面完成部署操作。 父主题: 其他类
获取项目ID 操作场景 在调用接口的时候,部分URL中需要填入项目ID,所以需要获取到项目ID。有如下两种获取方式: 调用API获取项目ID 从控制台获取项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目列表API获取。 获取项目ID的接口为“GET ht
文件系统权限管理 概述 您可以给文件系统配置IP鉴权规则,根据不同的IP或网段授予不同的权限。 IP鉴权默认有一个(*,rw,no_root_squash)表示所有用户都有读写权限且不进行权限降级的权限,该权限可以被删除。 使用限制 一个文件系统最多可以配置64条权限规则。 权限可以增删,
现象描述 仅挂载至一种服务器系统的文件系统出现写入数据失败的情况。 可能原因 服务器的安全组配置不正确,需要与文件系统通信的端口未开放。 定位思路 前往安全组控制台查看目标服务器的端口开放情况,并正确配置。 解决方法 登录弹性云服务器控制台。 登录管理控制台。 单击管理控制台左上角的,选择区域。