检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置挂载参数。设置本地挂载目录,在“/data/”目录下输入一个文件夹名称,例如:demo。挂载时,后台自动会在Notebook容器“的/data/”目录下创建该文件夹,用来挂载OBS文件系统。选择存放OBS并行文件系统下的文件夹,单击“确定”。图1 动态挂载OBS挂载成功后,
挂载并行文件系统 通过obsfs使用OBS服务,需要将OBS的并行文件系统挂载至您本地的文件系统上。挂载完成后,可以像操作本地目录一样操作OBS并行文件系统,比如保存某个文件至挂载目录,即上传对象至OBS。 obsfs挂载到华为云服务器ECS上时占用OBS流量,不占用华为云服务器ECS的流量。
并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载,主要应用于大数据场景。
挂载并行文件系统失败 本文根据在挂载并行文件系统时遇到的不同现象,总结了常见挂载并行文件系统失败的可能原因及解决办法。 现象一:挂载并行文件系统时出现“The specified bucket does not exist”类似错误 问题定位: 待挂载并行文件系统不存在。 解决办法:
动态挂载OBS并行文件系统 什么是动态挂载OBS并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,详细介绍可以参见并行文件系统。
您可以在控制台创建并行文件系统,并进行查看、管理等基本操作。 创建并行文件系统 OBS API 通过OBS API来使用并行文件系统。 支持的API列表 OBSA 大数据场景,建议使用obsa的方式对接OBS并行文件系统。 OBS工具 其他OBS工具 并行文件系统实现了对象和文件的互通,因
并行文件系统是否支持挂载到Windows服务器? 并行文件系统当前仅支持通过obsfs工具挂载至Linux服务器,暂不支持挂载至Windows服务器。 并行文件系统挂载至Linux服务器,具体请参见挂载并行文件系统。 父主题: OBS Browser+和obsutil等工具相关
取消挂载并行文件系统 如果不再需要通过挂载方式访问OBS并行文件系统,或者需要对已挂载并行文件系统进行参数新增、修改或删除时,可以取消挂载并行文件系统。 取消挂载并行文件系统不会影响已保存至并行文件系统中的数据。 前提条件 待取消挂载的并行文件系统目前处于挂载状态。 操作步骤 打开命令行终端。
并行文件系统 并行文件系统挂载后,为何显示256T? 文件列表是否支持排序?
创建并行文件系统 用户可以通过控制台创建并行文件系统。 操作步骤 在管理控制台首页,选择“服务列表 > 存储 > 对象存储服务”。 选择左侧导航栏的“并行文件系统”,进入并行文件系统控制台。 单击界面右上角的“创建并行文件系统”,进入创建页面。 图1 创建并行文件系统 (可选)复制并行文件系统配置。
直接挂载OBS目录进行大规模计算,如何解决偶现报错 问题现象 运行作业时,作业直接挂载OBS目录进行大规模计算。偶现“异常应用”,并日志报错input/output error或file xxx not exists。 问题原因 OBS集群到计算集群之间的带宽达到了上限。
取消挂载并行文件系统失败 本文根据在取消挂载并行文件系统时遇到的不同现象,总结了常见取消挂载并行文件系统失败的可能原因及解决办法。 现象一:取消挂载并行文件系统时出现“target is busy”类似错误 问题定位: 取消挂载时,命令行终端停留在挂载目录或其子目录。 解决办法:
当业务容器挂载单个obs并行文件系统时,CPU和内存规格建议配置如下: "obssidecar-injector-webhook/cpu": "500m", "obssidecar-injector-webhook/memory": "1024Mi" 当业务容器挂载多个obs并行文件系统时
修改对象元数据 √ 并行文件系统不支持修改目录的存储类型。如需修改目录中文件的存储类别,请修改文件的元数据,或者使用生命周期规则批量修改文件存储类别。 修改写对象 √ 并行文件系统新增接口,OBS桶不支持。 截断对象 √ 并行文件系统新增接口,OBS桶不支持。 重命名对象 √ 并行文件系统新增接口,OBS桶不支持。
boolean 可选 参数解释: 并行文件系统的ACL是否向并行文件系统内对象传递,作用于并行文件系统内所有对象。 取值范围: true:是,并行文件系统ACL向并行文件系统内对象传递。 false:否,并行文件系统ACL不向并行文件系统内对象传递,仅作用于并行文件系统。 默认取值: false
一个文件系统最多支持同时挂载到多少台云服务器上?
一个文件系统最多支持同时挂载到多少台云服务器上? 一个SFS容量型文件系统最多支持同时挂载到10000台云服务器上。 一个SFS Turbo文件系统最多支持同时挂载到3000台云服务器上。 一个通用文件系统最多支持同时挂载到10000台云服务器上。 父主题: 规格类
动态挂载OBS 功能介绍 在运行中的Notebook实例,支持将“OBS并行文件系统”挂载到实例中指定的文件目录,挂载后可以在容器中以文件系统操作方式完成OBS并行文件系统对象的读写。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。
并行文件系统挂载后,为何显示256T? 并行文件系统容量无限制。 用户在客户端上执行“df -h”时,为了显示需要,系统则直接返回了256TB。数值实际上无任何意义,可以使用的容量无限制。 父主题: 并行文件系统
并行文件系统约束限制 操作限制 不支持将已有的OBS桶修改为并行文件系统,创建并行文件系统方法请参见创建并行文件系统。 不支持控制台设置并行文件系统的自定义域名,API设置方法参见设置自定义域名。 功能限制 暂不支持通过图片处理特性对存放在并行文件系统中的图片进行瘦身、缩放、添加水印等操作。
动态挂载OBS并行文件系统成功,但是在Notebook的JupyterLab中无法看到本地挂载点 问题现象 在Notebook中动态挂载OBS并行文件系统,本地挂载目录为/data/demo-yf/,实际在JupyterLab左侧导航看不到此目录。
文件系统可以跨账号挂载使用吗? 通用文件系统暂不支持跨账号挂载使用。 SFS容量型文件系统北京四已上线跨账号挂载使用功能。 SFS Turbo文件系统基于VPC的对等连接功能,实现跨账号访问。更多关于VPC对等连接功能信息和实现方法请参见VPC对等连接。 父主题: 限制类
创建并行文件系统(Harmony SDK) 功能介绍 OBS并行文件系统是对象的容器,您上传的文件都将以对象的形式存放在并行文件系统中。本文介绍如何使用Harmony SDK创建并行文件系统。 调用创建并行文件系统接口,将在当前账号按照用户指定的并行文件系统名创建一个新并行文件系
创建并行文件系统(Go SDK) 功能介绍 OBS并行文件系统是对象的容器,您上传的文件都将以对象的形式存放在并行文件系统中。本文介绍如何使用GO SDK创建并行文件系统。 调用创建并行文件系统接口,将在当前账号按照用户指定的并行文件系统名创建一个新并行文件系统,接口支持根据用户
并行文件系统是否支持资源包? 当前如下资源包同时支持并行文件系统及对象桶: 标准存储资源包:包括单AZ及多AZ 归档存储资源包 公网流出流量包 由于并行文件系统暂时不支持跨区域复制和回源功能,所以无法使用对应的跨区域复制流量包和回源流量包。 父主题: 计费相关
boolean 可选 参数解释: 并行文件系统的ACL是否向并行文件系统内对象传递,作用于并行文件系统内所有对象。 取值范围: true:是,并行文件系统ACL向并行文件系统内对象传递。 false:否,并行文件系统ACL不向并行文件系统内对象传递,仅作用于并行文件系统。 默认取值: false
列举并行文件系统(Harmony SDK) 功能介绍 调用获取并行文件系统列表接口,可列举当前账号所有地域下符合指定条件的并行文件系统。返回结果以并行文件系统名的字典序排序。 接口约束 您必须拥有obs:bucket:ListAllMyBuckets权限,才能获取并行文件系统列表
列举并行文件系统(Go SDK) 功能介绍 OBS并行文件系统是对象的容器,您上传的文件都存放在并行文件系统中。调用获取并行文件系统列表接口,可列举当前账号所有地域下符合指定条件的并行文件系统。返回结果以并行文件系统名的字典序排序。 接口约束 您必须拥有obs:bucket:Li