检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
挂载并行文件系统失败 本文根据在挂载并行文件系统时遇到的不同现象,总结了常见挂载并行文件系统失败的可能原因及解决办法。 现象一:挂载并行文件系统时出现“The specified bucket does not exist”类似错误 问题定位: 待挂载并行文件系统不存在。 解决办法:
约束 描述 bucket 在指定的桶内创建文件夹时必选 桶名。 folder 在指定的桶内创建文件夹时必选 桶内的文件夹路径,支持多级文件夹,以“/”分隔。 folder_url 在本地文件系统路径中创建文件夹时必选 本地文件系统中的文件夹路径,支持绝对路径和相对路径。 config
时仍然有下载失败的风险。断点续传下载接口能有效地解决此类问题引起的下载失败,其原理是将待下载的对象分成若干个分段分别下载,并实时地将每段下载结果统一记录在checkpoint文件中,仅当所有分段都下载成功时返回下载成功的结果,否则抛出异常提醒用户再次调用接口进行重新下载(重新下载
并行文件系统使用方式 并行文件系统提供管理控制台、OBSA以及RESTful API接口的使用方法。用户可以在任何时间和地点对存储在并行文件系统内的文件进行处理,并且可以快速获取到处理后的文件。并行文件系统除支持POSIX文件语义外,也支持原来对象的接口,即用户仍然可以使用对
取消挂载并行文件系统 如果不再需要通过挂载方式访问OBS并行文件系统,或者需要对已挂载并行文件系统进行参数新增、修改或删除时,可以取消挂载并行文件系统。 取消挂载并行文件系统不会影响已保存至并行文件系统中的数据。 前提条件 待取消挂载的并行文件系统目前处于挂载状态。 操作步骤 打开命令行终端。
日志文件 配置日志文件 obsutil的日志文件分为工具日志和SDK日志,可通过在.obsutilconfig配置文件中加入如下参数开启这两种日志: 工具日志(记录工具在运行期间产生的日志信息):配置utilLogPath、utilLogBackups、utilLogLevel、utilMaxLogSize。
新建文件夹 用户可通过OBS Browser+新建文件夹。 背景信息 由于OBS没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”,将该对象在管理控制台上模拟成一个文件夹的形式展现。 操作步骤 登录OBS Browser+。
问题引起的下载失败,其原理是将待下载的对象分成若干个分段分别下载,并实时地将每段下载结果统一记录在checkpoint文件中,仅当所有分段都下载成功时返回下载成功的结果,否则抛出异常提醒用户再次调用接口进行重新下载(重新下载时因为有checkpoint文件记录当前的下载进度,避免
并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载,主要应用于大数据场景。
加急:可在1-5分钟内恢复小于250MB的数据。 标准:可在3-5小时内恢复所有归档数据。 单击“确定”,确认恢复归档存储的文件。 文件恢复状态可单击对象右侧的图标,在“属性”页面查看“恢复状态”。文件恢复成功后才能对该文件进行下载操作。 后续处理 在对象有效期内,用户可以重复做对象恢复操作。对象的有效期会根据最新一
并行文件系统约束限制 操作限制 不支持将已有的OBS桶修改为并行文件系统,创建并行文件系统方法请参见创建并行文件系统。 不支持控制台设置并行文件系统的自定义域名,API设置方法参见设置自定义域名。 功能限制 暂不支持通过图片处理特性对存放在并行文件系统中的图片进行瘦身、缩放、添加水印等操作。
创建并行文件系统 用户可以通过控制台创建并行文件系统。 操作步骤 在管理控制台首页,选择“服务列表 > 存储 > 对象存储服务”。 选择左侧导航栏的“并行文件系统”,进入并行文件系统控制台。 单击界面右上角的“创建并行文件系统”,进入创建页面。 图1 创建并行文件系统 (可选)复制并行文件系统配置。
使用IE11浏览器下载对象时提示对象无法下载 问题 用IE11浏览器登录OBS管理控制台上传一个对象,在未关闭浏览器的情况下,下载该对象到本地原路径下,选择替换原文件保存,浏览器会弹出无法下载的提示。 例如,从本地C盘的根目录下上传一个名为“abc”的对象到OBS管理控制台的某桶
搜索文件或文件夹 OBS Browser支持按前缀搜索文件或文件夹。 操作步骤 登录OBS Browser。 单击目标文件或文件夹所在的桶。 单击。 父主题: 对象管理
c1/src3/ 假设本地文件夹的格式如下: └── src1 └── test3.txt 基于以上桶内对象和本地文件夹的格式,不同场景下同步下载的示例如下: 同步bucket-test的src1文件夹中的所有文件和文件夹至本地已存在的src1文件夹中,同步命令如下: ./obsutil
移动文件或文件夹 移动文件或文件夹的实现方式:复制文件或文件夹到指定位置,然后删除原有文件或文件夹。 批量移动文件数量超过万级别时,建议使用obsutil工具,详见复制对象和删除对象。 前提条件 用户需要有待操作文件的ACL读写权限。 操作步骤 登录OBS Browser。 选中待配置的桶,进入桶界面。
并行文件系统不支持修改目录的存储类型。如需修改目录中文件的存储类别,请修改文件的元数据,或者使用生命周期规则批量修改文件存储类别。 修改写对象 √ 并行文件系统新增接口,OBS桶不支持。 截断对象 √ 并行文件系统新增接口,OBS桶不支持。 重命名对象 √ 并行文件系统新增接口,OBS桶不支持。 多段操作接口
下载对象-获取下载进度(Python SDK) 支持获取下载进度的接口包括:二进制式下载,流式下载、文件下载和断点续传下载。 本示例用于获取下载对象的进度。 示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
MD5检验 背景知识 文件在上传和下载的过程中,受网络影响可能出现损坏。通过MD5校验,可以验证上传或下载文档的正确性。 OBS Browser开启MD5校验会影响上传下载速度。本章节以上传文件为例介绍MD5校验功能。 桶中文件具有MD5信息,下载文件时才会做MD5校验。 操作步骤
文件预览:如果您不想强制下载文件,可以通过将自定义域名绑定至OBS桶实现在线预览文件。 防止域名被拦截:一些应用平台可能会拦截桶默认域名,为桶绑定自定义域名后,确保桶中的文件能够被正常访问。 保持访问链接不变:迁移网站文件或文件存储位置发生变化时,想保持网站各页面或各文件访问链接不变,可以将文件上传