检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件系统写入失败 现象描述 仅挂载至一种服务器系统的文件系统出现写入数据失败的情况。 可能原因 服务器的安全组配置不正确,需要与文件系统通信的端口未开放。 定位思路 前往安全组控制台查看目标服务器的端口开放情况,并正确配置。 解决方法 登录弹性云服务器控制台。 登录管理控制台。 单击管理控制台左上角的,选择区域。
状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
批量添加共享标签 功能介绍 指定共享批量添加标签。 一个共享上最多有20个标签。 一个共享上的多个标签的key不允许重复。 此接口为幂等接口:如果要添加的key在共享上已存在,则覆盖更新标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Expl
什么是高性能弹性文件服务SFS Turbo? 高性能弹性文件服务(Scalable File Service Turbo,SFS Turbo)提供按需扩展的高性能文件存储,支持同时为多个弹性云服务器(Elastic Cloud Server, ECS)提供文件共享服务。高性能弹性文件服务提供标准的文
已经跟不上计算能力,企业希望存储系统能提供高吞吐的数据访问能力,充分发挥 GPU/NPU 的计算性能,包括训练数据的读取,以及为了容错做的检查点(以下简称Checkpoint)保存和加载。训练数据的读取要尽量读得快,减少计算对 I/O 的等待,而 Checkpoint主要要求高吞吐、减少训练中断的时间。
前导入到SFS Turbo中,加速对OBS对象存储中的数据访问;上层任务产生的中间和结果等数据可以直接高速写入到SFS Turbo缓存中,中间缓存数据可被下游业务环节继续读取并处理,结果数据可以异步方式导出到关联的OBS对象存储中进行长期低成本存储。同时,您还可以配置缓存数据淘汰功能,及时将长期未访问的数据从SFS
Turbo文件系统 挂载成功后,用户可以在云服务器上把SFS Turbo文件系统当作一个普通的目录,执行读取或写入操作。 远程连接ECS实例,执行以下命令,在ECS实例上写入SFS Turbo文件系统。 # /mnt/sfs为挂载的本地目录 mkdir /mnt/sfs/dir1
参数,这可以保障网络发生故障恢复事件后文件系统服务不会中断。 sync/async sync为同步写入,表示将写入文件的数据立即写入服务端;async为异步写入,表示将数据先写入缓存,再写入服务端。 同步写入要求NFS服务器必须将每个数据都刷入服务端后,才可以返回成功,时延较高。建议设置为async。
式应用的日志收集和管理。业务特点: 多个业务主机挂载同一个共享文件系统,并发打印日志。 大文件小I/O:单个日志文件比较大,但是每次日志的写入I/O比较小。 写I/O密集型:业务以小块的写I/O为主。 配置流程 登录高性能弹性文件服务控制台,创建一个SFS Turbo文件系统用于存放日志文件。
享访问能力。业务特点: 大量小文件:存放网站静态文件,包括HTML文件,Json文件,静态图片等。 读I/O密集:业务以小文件读为主,数据写入相对较少。 多个Web Server访问同一个SFS Turbo后台,实现网站业务的高可用。 配置流程 整理好网站文件。 登录高性能弹性文件服务控制台,创建一个SFS
OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 响应参数 状态码: 200 表6 响应Header参数 参数 参数类型 描述 X-request-id String
异步持久化等技术保证checkpoint的快速、高可靠存储。具体地,第一阶段,各个节点将自己的checkpoint高速同步写入HOST侧的内存缓存中,同时写入配置好的backup节点内存缓存中,backup的内存副本可以在主节点进程异常退出时不会丢失内存checkpoint;第二
地监听端口。 配置stunnel配置文件。 在/etc/stunnel路径下新建stunnel_[本地监听端口].conf文件,在此文件中写入: client = yes sslVersion = TLSv1.2 [nfs] ciphers = ECDHE-RSA-AES256-
文件系统性能较差 问题描述 向文件系统中写入数据时读写较慢,文件系统的性能未达到预期,或传输文件较慢等。 排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往低频率原因排查,从而帮助您快速找到问题的原因。 如果解决完某个可能原因仍未解决问题,请继续排查其他可能原因。
conf”文件。在已有的nameserver配置前写入DNS服务器的IP地址,如图1所示。 图1 配置DNS 格式如下: nameserver 100.125.1.250 nameserver 100.125.17.29 单击“Esc”,并输入:wq,保存退出。 执行以下命令,查看IP地址是否写入成功。 cat /etc/resolv
共享标签 创建共享标签 查询共享标签 删除共享标签 批量添加共享标签 查询租户所有共享的标签 通过标签查询文件系统列表 父主题: API
手动续费资源。 单个续费:在资源页面找到需要续费的资源,单击操作列的“续费”。 图3 单个续费 批量续费:在资源页面勾选需要续费的资源,单击列表左上角的“批量续费”。 图4 批量续费 选择文件系统的续费时长,判断是否勾选“统一到期日”,将文件系统到期时间统一到各个月的某一天(详
授权项:自定义策略中支持的Action,在自定义策略中的Action中写入授权项,可以实现授权项对应的权限功能。 依赖的授权项:部分Action存在对其他Action的依赖,需要将依赖的Action同时写入授权项,才能实现对应的权限功能。 IAM项目(Project)/企业项目(Enterprise
目录的容量大小,单位:MB; 不填写则默认为0;设置为0会导致数据无法写入目录; capacity和quota至少二选一 inode 否 Integer 目录的inode数量限制; 不填写则默认为0;设置为0会导致数据无法写入目录; capacity和quota至少二选一 响应参数 状态码:
否 Integer 目录的容量大小,单位:MB; 设置为0会导致数据无法写入目录; capacity和quota至少二选一 inode 否 Integer 目录的inode数量限制; 设置为0会导致数据无法写入目录; capacity和quota至少二选一 响应参数 状态码: 200