检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节以Linux操作系统为例,介绍如何通过obsutil在OBS上完成基本的数据存取操作,具体操作流程如图1所示。 图1 obsutil快速使用流程 前提条件 已获取到obsutil工具,并完成了初始化配置。 已进入obsutil工具所在目录。 操作步骤 运行./obsutil mb obs://bucket-test
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。
请参见下载和安装obsutil。 初始化配置 执行以下配置命令,初始化配置obsutil工具。 {path}/obsutil config -i=ak -k=sk -e={endpoint} 其中: {path}需要替换为obsutil安装路径,例如:/root/tools/o
最佳实践 利用obsutil帮助命令查找工具功能 利用crontab配置定时任务 将obsutil设为系统内置命令 为obsutil配置自动获取访问密钥 obsutil性能调优最佳实践 利用obsutil进行断点续传 利用obsutil上传软链接 为obsutil配置HTTP代理
obs://bucket-src/src2/src3/test9.txt 基于以上对象格式,不同复制场景下的命令示例如下: 复制bucket-src桶中的test1.txt文件至bucket-dest桶中,复制命令如下: ./obsutil cp obs://bucket-src/test1.txt obs://bucket-dest
钥泄露,.obsutilconfig默认为隐藏文件,您可以在运行obsutil命令的用户目录下,使用ls -a 命令查看该文件。 配置完成后,您可以通过执行以下命令检查连通性,确保配置无误。 ./obsutil ls -s 根据回显结果,检查配置结果: 如果返回结果中包含“Bucket
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使用
OBSUtil内嵌对象 OBSUtil内嵌对象提供了一系列针对OBS的操作方法,例如判断OBS文件或目录是否存在。 方法 表1 方法说明 方法 说明 示例 boolean isExistOBSPath(String obsPath) 判断OBS文件或目录(目录请以“/”结尾)是否
日志滚动后的文件名规则为:filename.log.number 同一个用户如果开启多个obsutil进程同时运行时,可能导致日志文件并发写失败或日志内容丢失的问题,请在运行命令时加上-config参数为每个进程配置独立的配置文件。同时确保utilLogPath和sdkLogPath对每个进程均配置为不同的路径。
└── test3.txt 基于以上文件夹格式,不同上传场景的命令示例如下: 上传本地src1文件夹下的test3.txt文件至bucket-test桶的根目录,命令如下: ./obsutil cp /src1/test3.txt obs://bucket-test 成功上传后,桶内生成对象为:
c2/src3/test9.txt 基于以上桶内对象格式,不同下载场景下的命令示例如下: 下载bucket-test桶中的test1.txt文件至本地的src1文件夹中,下载命令如下: ./obsutil cp obs://bucket-test/test1.txt /src1
OBS Browser+和obsutil等工具相关 使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
obs://bucket-test/src2/task5.txt uploadid6 只列举3个bucket-test桶内的分段上传任务示例,列举命令如下: ./obsutil ls obs://bucket-test -m -limit=3 返回结果按照对象名字典序排列后,结果如下: obs://bucket-test/task1
obsutil安装和配置 obsutil是用于访问、管理对象存储服务OBS的命令行工具,使用该工具可以对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。 obsutil安装和配置的具体操作指导请参见obsutils快速入门。 操作命
/test3.txt 基于以上对象格式,不同场景下同步复制的命令示例如下: 同步bucket-src桶中src1文件夹下的文件和文件夹至bucket-dest桶的src1文件夹中,同步复制命令如下: ./obsutil sync obs://bucket-src/src1 ob
基于以上本地文件夹和桶内对象的格式,不同场景下同步上传的示例如下: 同步本地src1文件夹下的test3.txt文件至bucket-test桶的根目录,同步命令如下: ./obsutil sync /src1/test3.txt obs://bucket-test 由于bucket-test桶中之前不存在test3
快速入门 准备环境 初始化配置 快速使用
景下同步下载的示例如下: 同步bucket-test的src1文件夹中的所有文件和文件夹至本地已存在的src1文件夹中,同步命令如下: ./obsutil sync obs://bucket-test/src1 /src1 同步下载成功后,本地src1文件夹中生成的内容如下: └──
解决思路: 在网络不通的情况下优先解决本地网络问题;如需配置代理可以参考为obsutil配置HTTP代理。 在偶现该问题的情况下,可以考虑重试命令以规避该问题;针对上传/下载/复制等场景,可以在执行cp时指定-u参数进行增量上传,可以避免重试批量任务中已经成功完成的部分任务。 在网络情
常见示例 上传示例 同步上传示例 下载示例 同步下载示例 复制示例 同步复制示例 列举示例 列举分段上传任务示例 删除桶内全部分段上传任务