挂载并行文件系统 通过obsfs使用OBS服务,需要将OBS的并行文件系统挂载至您本地的文件系统上。挂载完成后,可以像操作本地目录一样操作OBS并行文件系统,比如保存某个文件至挂载目录,即上传对象至OBS。 obsfs挂载到华为云服务器ECS上时占用OBS流量,不占用华为云服务器ECS的流量。
挂载并行文件系统失败 本文根据在挂载并行文件系统时遇到的不同现象,总结了常见挂载并行文件系统失败的可能原因及解决办法。 现象一:挂载并行文件系统时出现“The specified bucket does not exist”类似错误 问题定位: 待挂载并行文件系统不存在。 解决办法:
obsutil性能调优最佳实践 obsutil对大于50MB的文件/对象默认采用分段方式进行上传、下载和复制,与分段任务相关的参数在.obsutilconfig配置文件中,如表1所示。 表1 多段参数 参数 描述 defaultBigfileThreshold 开启分段任务的阈值
删除桶 用户可根据需要删除已创建的桶。 前提条件 待删除的桶为空。 只有桶的所有者才能删除桶。 删除桶之前必须确保桶内的对象已全部删除,并且桶内没有未完成的多段上传任务。 操作步骤 登录OBS Browser+。 选中待删除的桶,单击“删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。
管理已暂停队列 前提条件 任务列表中存在正在暂停的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“已暂停”按钮。 图1 已暂停队列列表 可选: 选择对单个任务或者多个任务单击“运行”按钮,运行后的任务会出现在“运行”或“待定”任务队列。
删除文件或文件夹 用户可根据需要删除已有文件或文件夹。 背景信息 删除文件夹时,文件夹内的文件也将同时被删除,请务必确认这些文件可以被删除。 删除无用的文件或文件夹可节省空间和成本。 用户上传到OBS的某些文件,可能需要定期删除,对于这类删除文件的场景,可通过OBS的生命周期管理
上传文件或文件夹 上传文件操作可将本地文件或文件夹存储至OBS,对象的存储类别默认与桶的存储类别一致。 背景信息 OBS Browser+使用分段上传功能上传文件。通过分段上传功能,OBS Browser+支持上传最大为48.8TB的单个文件。 文件或文件夹名称长度不能超过102
取消挂载并行文件系统 如果不再需要通过挂载方式访问OBS并行文件系统,或者需要对已挂载并行文件系统进行参数新增、修改或删除时,可以取消挂载并行文件系统。 取消挂载并行文件系统不会影响已保存至并行文件系统中的数据。 前提条件 待取消挂载的并行文件系统目前处于挂载状态。 操作步骤 打开命令行终端。
取消挂载并行文件系统失败 本文根据在取消挂载并行文件系统时遇到的不同现象,总结了常见取消挂载并行文件系统失败的可能原因及解决办法。 现象一:取消挂载并行文件系统时出现“target is busy”类似错误 问题定位: 取消挂载时,命令行终端停留在挂载目录或其子目录。 解决办法:
管理已完成队列 前提条件 任务列表中存在已完成的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“已完成”按钮。 图1 已完成队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 建议定期清空“已完成任务”列表,请参考为
利用obsutil进行断点续传 obsutil在上传、下载和复制大文件时通过分段上传/下载/复制算法,可支持断点续传。您可根据具体的场景设置开启分段任务的阈值以实现上传/下载/复制任务失败或中断后的续传。您可通过两种方式指定开启分段任务的阈值: 方法一 指定配置文件中的配置参数:
删除桶内全部分段上传任务 本章节案例中的所有命令均以Linux操作系统为例,提供删除桶内全部分段上传操作指导。 假设bucket-test桶内包含如下分段上传任务: obs://bucket-test/task1.txt uploadid1 obs://bucket-test/task1
为obsutil配置自动获取访问密钥 特性说明 除了从配置文件.obsutilconfig中获取访问密钥(AK/SK)外,obsutil还提供链式自动获取访问密钥功能,可以从系统环境变量获取访问密钥,或者通过ECS接口获取临时访问密钥。 启用链式获取访问密钥功能后,obsutil会依次从
下载文件或文件夹 用户可根据需要将存储在OBS上的文件或文件夹下载到本地。 操作步骤 登录OBS Browser+。 选中待配置的桶,选中需要下载的文件或文件夹后,单击“下载”。 OBS支持批量下载多个文件和文件夹,单击选中待下载的文件或文件夹即可。 对于存储类别为归档存储的桶中
境变量AccessKeyID和SecretAccessKey。 // 前端本身没有process对象,可以使用webpack类打包工具定义环境变量,就可以在代码中运行了。 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support
在哪里可以获取AK和SK? IAM用户如果希望使用AK/SK访问OBS,必须要账号为其开启“编程访问”。开启方法请参见查看或修改IAM用户信息。 在使用Browser+访问OBS时,需要使用AK/SK进行签名验证。AK/SK获取步骤如下: 登录控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。
批量任务进度条中出现问号的原因 问题原因: 在执行批量上传/下载任务时,如果目标目录包含大量的对象,由于要遍历所有对象才能统计该任务涉及的整体对象数目、大小等信息,因此在获取这些信息的过程中,进度条会以 ? 问号的形式进行展示。 解决办法: 待获取任务的整体信息后即会在进度条中展示相应任务信息。
i/o timout、EOF错误原因定位及解决 i/o timeout、EOF报错是两种常见的因为网络原因导致请求失败的场景,通常是由于网络波动等原因导致;常见的定位思路包括: 通过ping桶域名(bucketName.endpoint)判断本地到指定访问的桶域名之间的网络是否不通;如果不通优先排查本地网络问题。
如何获取子用户IAM的用户ID? 登录公有云网站。 在华为云首页右上角,单击“控制台”。 在右上角的用户名中选择“我的凭证”。 在“我的凭证”界面,API凭证页签中,查看账号名、账号ID、用户名、用户ID、项目名称、项目ID。 父主题: 常见问题
目录分享是否支持分享后取消分享 不支持。 当前通过OBS Browser+分享的对象或目录均有有效期,在有效期内的链接无法通过Browser+取消分享。 因此请您在使用过程中一定要谨慎选择分享链接的有效期,同时注意分享对象或目录的正确性。 父主题: 常见问题
您即将访问非华为云网站,请注意账号财产安全