检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使用
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。
本章节以Linux操作系统为例,介绍如何通过obsutil在OBS上完成基本的数据存取操作,具体操作流程如图1所示。 图1 obsutil快速使用流程 前提条件 已获取到obsutil工具,并完成了初始化配置。 已进入obsutil工具所在目录。 操作步骤 运行./obsutil mb obs://bucket-test
进行询问操作,复制命令如下: ./obsutil cp obs://bucket-src/src2 obs://bucket-dest -r -f 复制完成后,在bucket-dest桶中生成的对象如下: obs://bucket-dest/src2/ obs://bucket-dest/src2/test8
uploadid5 obs://bucket-test/src2/ obs://bucket-test/src2/task5.txt uploadid6 只列举3个bucket-test桶内的分段上传任务示例,列举命令如下: ./obsutil ls obs://bucket-test
询问操作,命令如下: ./obsutil cp /src1/src2 obs://bucket-test -r -f 成功上传后,桶内生成对象为: obs://bucket-test/src2/ obs://bucket-test/src2/test1.txt obs://bu
最佳实践 利用obsutil帮助命令查找工具功能 利用crontab配置定时任务 将obsutil设为系统内置命令 为obsutil配置自动获取访问密钥 obsutil性能调优最佳实践 利用obsutil进行断点续传 利用obsutil上传软链接 为obsutil配置HTTP代理
日志文件 配置日志文件 obsutil的日志文件分为工具日志和SDK日志,可通过在.obsutilconfig配置文件中加入如下参数开启这两种日志: 工具日志(记录工具在运行期间产生的日志信息):配置utilLogPath、utilLogBackups、utilLogLevel、utilMaxLogSize。
t3.txt obs://bucket-test/test4.txt obs://bucket-test/test5.txt obs://bucket-test/test6.txt obs://bucket-test/src1/ obs://bucket-test/src1/test7
sync obs://bucket-src/src1 obs://bucket-dest/src1 同步复制完成后,目标桶bucket-dest内的对象列表如下: obs://bucket-dest/src1/ obs://bucket-dest/src1/test3.txt obs:
解决思路: 在网络不通的情况下优先解决本地网络问题;如需配置代理可以参考为obsutil配置HTTP代理。 在偶现该问题的情况下,可以考虑重试命令以规避该问题;针对上传/下载/复制等场景,可以在执行cp时指定-u参数进行增量上传,可以避免重试批量任务中已经成功完成的部分任务。 在网络情
rc1文件夹中,同步命令如下: ./obsutil sync /src1 obs://bucket-test/src1 最终桶内对象为: obs://bucket-test/src1/ obs://bucket-test/src1/test3.txt obs://bucket-test/src1/src2/
同步下载示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步下载操作指导。 假设bucket-test桶内包含如下对象: obs://bucket-test/src1/ obs://bucket-test/src1/test3.txt obs://bucket-test/src1/src2/
常见示例 上传示例 同步上传示例 下载示例 同步下载示例 复制示例 同步复制示例 列举示例 列举分段上传任务示例 删除桶内全部分段上传任务
问题定位 问题定位简介 日志文件 结果清单 返回码
Mac/Linux操作系统 ./obsutil ls obs://bucketName -format=default -limit=0 > /root/result.txt 请注意,在Windows系统下为了将输出结果重定向到本地文件中,需要在命令行窗口中执行对应的重定向操作而非启动obsutil可执行
obsutil最新版本和下载链接请参见下载obsutil。 配置obsutil 使用obsutil之前,您需要配置obsutil与OBS的对接信息,包括OBS终端节点(Endpoint)和访问密钥(AK和SK)。具体操作请参见obsutil指南的初始化配置章节。 其中OBS终端节点(Endpoint)需要根据EC
快速入门 准备环境 初始化配置 快速使用
对象存储服务”,为该用户组配置OBS策略。 与OBS相关的策略请参考OBS权限说明。 创建用户。 详细步骤请参见创建用户,创建用户时,“所属用户组”需选择3.b创建的具有OBS权限的用户组;访问方式要选择“编程访问”。 如果用户组没有配置OBS相关权限,您也可以在OBS控制台,通过桶策略或
问题定位简介 obsutil提供多种方式帮助用户自助进行日常问题分析和定位,具体方式及其说明如表1所示。您通常需要结合多种方式以准确定位问题。 表1 问题定位方式 方式 说明 日志文件 obsutil的日志文件分为工具日志和SDK日志,工具日志可以记录obsutil在运行过程中的