检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Browser+分段上传任务中断产生的碎片,继续运行完成任务,碎片将会消失。 当存在运行中断或失败的分段上传任务并产生碎片后,您可以继续运行中断或失败的上传任务来消除碎片,或直接将碎片删除以节省存储空间。 继续运行中断或失败的分段上传任务消除碎片 OBS提供任务管理功能,当分段上传任务中断或失败
创建并行文件系统(Harmony SDK) 功能介绍 OBS并行文件系统是对象的容器,您上传的文件都将以对象的形式存放在并行文件系统中。本文介绍如何使用Harmony SDK创建并行文件系统。 调用创建并行文件系统接口,将在当前账号按照用户指定的并行文件系统名创建一个新并行文件系
配置文件参数defaultBigfileThreshold。 分段任务的阈值作用于单个文件/对象,如果文件/对象的大小大于该阈值才会对该文件/对象应用分段任务算法。 分段任务算法和断点续传是强制绑定关系,即一旦使用分段任务算法就相当于对该次任务启动了断点续传模式。 父主题: 最佳实践
并行文件系统约束限制 操作限制 不支持将已有的OBS桶修改为并行文件系统,创建并行文件系统方法请参见创建并行文件系统。 不支持控制台设置并行文件系统的自定义域名,API设置方法参见设置自定义域名。 功能限制 暂不支持通过图片处理特性对存放在并行文件系统中的图片进行瘦身、缩放、添加水印等操作。
将obsutil设为系统内置命令 操作场景 作为外部软件,obsutil命令需要进入obsutil工具所在目录后方可运行,易用性较差。 操作系统提供内置命令,在系统启动时就将依赖的目录调入内存,这样在任意目录下都可以运行命令,提高工具易用性。 本章根据不同操作系统,分别介绍如何将obsutil设置为系统内置命令。
OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 目前接口仅在并行文件系统支持,普通对象并行文件系统不支持,如何创建并行文件系统请参考创建并行文件系统(Java SDK)。 方法定义 obsClient.renameObject(RenameObjectRequest
挂载并行文件系统 通过obsfs使用OBS服务,需要将OBS的并行文件系统挂载至您本地的文件系统上。挂载完成后,可以像操作本地目录一样操作OBS并行文件系统,比如保存某个文件至挂载目录,即上传对象至OBS。 obsfs挂载到华为云服务器ECS上时占用OBS流量,不占用华为云服务器ECS的流量。
用户可以执行删除桶的操作,要删除的桶必须是空桶。如果桶中有对象或者有多段任务则认为桶不为空,可以使用列举桶内对象和列举出多段上传任务接口来确认桶是否为空。 注: 如果删除桶时,服务端返回5XX错误或超时,系统需要时间进行桶信息一致性处理,在此期间桶的信息会不准确,过一段时间再查看
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
拷贝段 功能介绍 多段上传任务创建后,用户可以通过指定多段上传任务号,为特定的任务上传段,了解完整的分段上传流程请参见分段上传。添加段的方式还包括调用段拷贝接口。允许用户将已上传对象的一部分或全部拷贝为段。 该操作支持服务端加密功能。 拷贝段的结果不能仅根据HTTP返回头域中的s
系,详细信息请参见地区与终端节点。 初始化上传段任务并上传一个或多个段之后,您必须合并段或取消多段上传任务,才能停止收取已上传的段的存储费用。仅当在合并段或取消多段上传任务之后,OBS才释放段存储并停止向您收取段存储费用。 段任务中的partNumber是唯一的,重复上传相同pa
列举已上传的段(Java SDK) 功能说明 通过分段上传任务的ID,列举指定桶中已上传的段。 您可以列出特定多段上传任务或所有正在进行的多段上传任务的分段。列举已上传的段操作将返回特定多段上传任务中正在进行上传的段信息,单次最多列举1000个分段。如果多段上传中的段超过1000
删除桶,待删除的桶必须为空(不包含对象、历史版本对象或分段上传碎片)。 如果要删除非空桶,请先使用删除分段上传任务命令和删除对象命令,将桶清空后再执行删除桶命令。 命令结构 Windows操作系统 obsutil rm obs://bucket [-f] [-config=xxx] [-e=xxx]
只有桶的所有者才能删除桶。 删除桶之前必须确保桶内的对象已全部删除,并且桶内没有未完成的多段上传任务。 操作步骤 登录OBS Browser+。 选中待删除的桶,单击“删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。 单击确认框中的“是”后,删除该桶。 父主题: 桶的基本操作
流程简介 以下章节介绍如何使用OBS Browser来完成图1中所示的任务。 图1 OBS Browser快速入门 父主题: 入门
取消挂载并行文件系统失败 本文根据在取消挂载并行文件系统时遇到的不同现象,总结了常见取消挂载并行文件系统失败的可能原因及解决办法。 现象一:取消挂载并行文件系统时出现“target is busy”类似错误 问题定位: 取消挂载时,命令行终端停留在挂载目录或其子目录。 解决办法:
并行文件系统挂载后,为何显示256T? 并行文件系统容量无限制。 用户在客户端上执行“df -h”时,为了显示需要,系统则直接返回了256TB。数值实际上无任何意义,可以使用的容量无限制。 父主题: 并行文件系统
参数类型 描述 bucketName String 参数解释: 并行文件系统的并行文件系统名。 约束限制: 并行文件系统的名字需全局唯一,不能与已有的任何并行文件系统名称重复,包括其他用户创建的并行文件系统。 并行文件系统命名规则如下: 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“
列举并行文件系统(Go SDK) 功能介绍 OBS并行文件系统是对象的容器,您上传的文件都存放在并行文件系统中。调用获取并行文件系统列表接口,可列举当前账号所有地域下符合指定条件的并行文件系统。返回结果以并行文件系统名的字典序排序。 接口约束 您必须拥有obs:bucket:Li
listBuckets(); 相关链接 关于并行文件系统的更多说明,请参见什么是并行文件系统。 获取并行文件系统列表过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 列举并行文件系统常见问题请参见并行文件系统常见问题 父主题: 并行文件系统相关接口(Harmony SDK)