检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可选 参数解释: 并行文件系统的ACL是否向并行文件系统内对象传递,作用于并行文件系统内所有对象。 取值范围: true:是,并行文件系统ACL向并行文件系统内对象传递。 false:否,并行文件系统ACL不向并行文件系统内对象传递,仅作用于并行文件系统。 默认取值: false
并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。
Windows系统 前提条件 在使用本工具前,您需完成注册华为帐号并开通华为云,开通OBS,并创建一个可用的桶。 已下载obsftp工具。 工具下载地址:https://github.com/huaweicloud-obs/obsftp 在Windows上使用此工具前需要您先完成Python安装。
Linux/Unix系统 前提条件 在使用本工具前,您需完成注册华为帐号并开通华为云,开通OBS,并创建一个可用的桶。 已下载obsftp工具。 工具下载地址:https://github.com/huaweicloud-obs/obsftp 通常Linux/unix系统已安装Pyth
挂载并行文件系统失败 本文根据在挂载并行文件系统时遇到的不同现象,总结了常见挂载并行文件系统失败的可能原因及解决办法。 现象一:挂载并行文件系统时出现“The specified bucket does not exist”类似错误 问题定位: 待挂载并行文件系统不存在。 解决办法:
取消挂载并行文件系统 如果不再需要通过挂载方式访问OBS并行文件系统,或者需要对已挂载并行文件系统进行参数新增、修改或删除时,可以取消挂载并行文件系统。 取消挂载并行文件系统不会影响已保存至并行文件系统中的数据。 前提条件 待取消挂载的并行文件系统目前处于挂载状态。 操作步骤 打开命令行终端。
系统配置 本节介绍如何修改OBS Browser的各项配置。 操作步骤 登录OBS Browser。 在OBS Browser右上角,单击,并选择“系统配置”,系统弹出“系统配置”对话框,如图1所示。 图1 系统配置 单击“基本配置”,根据需要修改基本配置参数。 各参数含义如表1所示。
并行文件系统是否支持资源包? 当前如下资源包同时支持并行文件系统及对象桶: 标准存储资源包:包括单AZ及多AZ 归档存储资源包 公网流出流量包 由于并行文件系统暂时不支持跨区域复制和回源功能,所以无法使用对应的跨区域复制流量包和回源流量包。 父主题: 计费相关
创建并行文件系统 用户可以通过控制台创建并行文件系统。 操作步骤 在管理控制台首页,选择“服务列表 > 存储 > 对象存储服务”。 选择左侧导航栏的“并行文件系统”,进入并行文件系统控制台。 单击界面右上角的“创建并行文件系统”,进入创建页面。 图1 创建并行文件系统 (可选)复制并行文件系统配置。
OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 目前接口仅在并行文件系统支持,普通对象并行文件系统不支持,如何创建并行文件系统请参考创建并行文件系统(Java SDK)。 方法定义 obsClient.renameObject(RenameObjectRequest
用户可以通过以下几种方式使用并行文件系统。 OBS桶的权限管理规则及权限要求同样适用于并行文件系统,用户在使用并行文件系统前需要确保具备OBS资源的访问权限。 表1 使用方式 方式 主要功能 相关链接 并行文件系统控制台 您可以在控制台创建并行文件系统,并进行查看、管理等基本操作。 创建并行文件系统 OBS
并行文件系统 并行文件系统概述 并行文件系统支持的特性 并行文件系统约束限制 创建并行文件系统
并行文件系统 并行文件系统挂载后,为何显示256T? 文件列表是否支持排序?
将obsutil设为系统内置命令 操作场景 作为外部软件,obsutil命令需要进入obsutil工具所在目录后方可运行,易用性较差。 操作系统提供内置命令,在系统启动时就将依赖的目录调入内存,这样在任意目录下都可以运行命令,提高工具易用性。 本章根据不同操作系统,分别介绍如何将obsutil设置为系统内置命令。
挂载并行文件系统 通过obsfs使用OBS服务,需要将OBS的并行文件系统挂载至您本地的文件系统上。挂载完成后,可以像操作本地目录一样操作OBS并行文件系统,比如保存某个文件至挂载目录,即上传对象至OBS。 obsfs挂载到华为云服务器ECS上时占用OBS流量,不占用华为云服务器ECS的流量。
并行文件系统约束限制 操作限制 不支持将已有的OBS桶修改为并行文件系统,创建并行文件系统方法请参见创建并行文件系统。 不支持控制台设置并行文件系统的自定义域名,API设置方法参见设置自定义域名。 功能限制 暂不支持通过图片处理特性对存放在并行文件系统中的图片进行瘦身、缩放、添加水印等操作。
远程目录。 存储数据的逻辑 存放的是对象,可以直接存放文件,文件会自动产生对应的系统元数据,用户也可以自定义文件的元数据。 存放的是二进制数据,无法直接存放文件,如果需要存放文件,需要先格式化文件系统后使用。 存放的是文件,会以文件和文件夹的层次结构来整理和呈现数据。 访问方式
并行文件系统支持的特性 并行文件系统支持的API列表 本节主要介绍并行文件系统和已有的OBS API的兼容情况,并对部分兼容的API进行差异说明。 关于OBS各个API接口的详细介绍,请参见《对象存储服务API参考》。 桶基础操作接口 表1 桶基础操作接口 接口 并行文件系统是否兼容
限 场景介绍 本案例介绍如何通过IAM预置的与OBS相关的系统角色和策略,为华为云账号下的多个IAM用户或用户群组授予OBS所有资源的基本操作权限。预置的系统角色和策略所支持的权限如下表所示。 表1 OBS系统权限 系统角色/策略名称 描述 类别 Tenant Administrator
创建并行文件系统(Go SDK) 功能介绍 OBS并行文件系统是对象的容器,您上传的文件都将以对象的形式存放在并行文件系统中。本文介绍如何使用GO SDK创建并行文件系统。 调用创建并行文件系统接口,将在当前账号按照用户指定的并行文件系统名创建一个新并行文件系统,接口支持根据用户