检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
命令结构 Windows操作系统 obsutil ls -failed [-limit=1000] [-o=xxx] macOS/Linux操作系统 ./obsutil ls -failed [-limit=1000] [-o=xxx] 运行示例 以Windows操作系统为例。运行示例如下:
SDK最新版本源码:最新源码下载 OBS C SDK历史版本下载:历史版本下载 SDK编译 获取到SDK源码后,根据使用平台来开展编译工作。 linux下: linux可以直接进入到source/eSDK_OBS_API/eSDK_OBS_API_C++/下执行下面的脚本来编译(x86和arm略有不同请注意):
删除桶内全部分段上传任务 本章节案例中的所有命令均以Linux操作系统为例,提供删除桶内全部分段上传操作指导。 假设bucket-test桶内包含如下分段上传任务: obs://bucket-test/task1.txt uploadid1 obs://bucket-test/task1
下载示例 本章节案例中的所有命令均以Linux操作系统为例,提供下载操作指导。 假设bucket-test桶内包含如下对象: obs://bucket-test/test1.txt obs://bucket-test/test2.txt obs://bucket-test/test3
上传示例 本章节案例中的所有命令均以Linux操作系统为例,提供上传操作指导。 假设本地文件夹的格式如下: └── src1 ├── src2 ├── test1.txt └── test2.txt ├── src3 └──
操作系统:CentOS 7.5) 软件:CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBSA-HDFS工具jar包(如hadoop-huaweicloud-3.1.1-hw-53.8.jar)上传到
同步上传示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步上传操作指导。 假设本地文件夹的格式如下: └── src1 ├── src2 ├── test1.txt └── test2.txt ├── src3
同步复制示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步复制操作指导。 假设源桶bucket-src内包含如下对象: obs://bucket-src/src1/ obs://bucket-src/src1/test3.txt obs://bucket-src/src1/src2/
三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,还可以直接与开源的大数据组件对接。当您使用开源的大数据组件时,可参考支持的大数据组件简介完成与OBS对接。 (可选)如果您的数据仍存储在本地HDFS,需要先将数据迁移到华
推荐使用s3fs。 s3fs是一款基于用户空间文件系统(Filesystem in Userspace,简称FUSE)的文件系统工具,支持您在Linux系统中,将OBS对象桶挂载到本地文件系统,让您能够像操作本地文件一样操作对象,实现数据的共享。关于s3fs的更多信息,请参见Gi
列举示例 本章节案例中的所有命令均以Linux操作系统为例,提供列举操作指导。 假设bucket-test桶内包含如下对象: obs://bucket-test/test1.txt obs://bucket-test/test2.txt obs://bucket-test/test3
同步下载示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步下载操作指导。 假设bucket-test桶内包含如下对象: obs://bucket-test/src1/ obs://bucket-test/src1/test3.txt obs://bucket-test/src1/src2/
(GCC) 10.3.0 linux编译环境: NAME="CentOS Linux" VERSION="7 (Core)" ID="centos" ID_LIKE="rhel fedora" VERSION_ID="7" PRETTY_NAME="CentOS Linux 7 (Core)"
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
的返回码,具体的返回码及其含义如表1所示。您可以通过以下方式获取最近一次运行结果的返回码,然后根据返回码分析并处理问题。 macOS/Linux操作系统,执行以下命令获取最近一次运行结果的返回码: echo $? Windows操作系统,执行以下命令获取最近一次运行结果的返回码:
列举分段上传任务示例 本章节案例中的所有命令均以Linux操作系统为例,提供列举上传任务操作指导。 假设bucket-test桶内包含如下分段上传任务: obs://bucket-test/task1.txt uploadid1 obs://bucket-test/task1.txt
示例场景:每天21:30进入/root目录下,执行增量上传/src/src1文件夹到obs://bucket-test桶内。 前提条件 必须在Linux操作系统下,并且正常开启了crond(定时任务计划)服务。如果是windows用户请参考配置windows定时任务。 运行service
Service,OBS)的命令行工具,您可以使用该工具对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。对于熟悉命令行程序的用户,obsutil能在执行批量处理、自动化任务场景能为您带来更优体验。 obsutil适用于Windows、Linux和macO
OBS Browser+不支持统计文件夹内的文件数目及大小,可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du -limit=0命令,查询桶bucket-test下test文件夹的大小。
PATH为步骤1选择的操作路径;OBSUTIL_PATH为obsutil.exe工具的绝对路径。 检验是否配置成功:在cmd窗口中执行命令obsutil help,出现工具帮助信息则表示配置成功。 将obsutil设为macOS/Linux操作系统内置命令 方式一:使用脚本自动配置(推荐) 运行脚本