检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外,还可以直接与开源的大数据组件对接。当您使用开源的大数据组件时,可参考支持的大数据组件简介完成与OBS对接。 (可选)如果您的数据仍存储在本地HDFS,需要先将数据迁移到华
的返回码,具体的返回码及其含义如表1所示。您可以通过以下方式获取最近一次运行结果的返回码,然后根据返回码分析并处理问题。 macOS/Linux操作系统,执行以下命令获取最近一次运行结果的返回码: echo $? Windows操作系统,执行以下命令获取最近一次运行结果的返回码:
OBS是否支持批量上传文件? OBS管理工具批量上传功能的支持情况: 表1 OBS管理工具批量上传功能 工具 批量上传 管理控制台 OBS管理控制台支持批量上传文件,单次最多支持100个文件同时上传,总大小不超过5GB。详见上传文件。 OBS Browser+ 支持上传多个文件或
同步复制示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步复制操作指导。 假设源桶bucket-src内包含如下对象: obs://bucket-src/src1/ obs://bucket-src/src1/test3.txt obs://bucket-src/src1/src2/
同步上传示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步上传操作指导。 假设本地文件夹的格式如下: └── src1 ├── src2 ├── test1.txt └── test2.txt ├── src3
通过OBS SDK快速使用OBS OBS SDK对OBS服务提供的REST API进行封装,以简化用户的开发工作。您直接调用OBS SDK提供的接口函数即可使用OBS管理数据。 本章节以Java、Python、Go三种SDK为例,帮助您快速上手OBS的基础功能,包括创建桶、上传对象、下载对象、列举对象。
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
启动OBS Browser时出现“OBS Browser由于数据库不可用原因,导致任务管理功能无法正常使用”的报错 问题 在Windows操作系统上启动OBS Browser时,出现“OBS Browser由于数据库不可用原因,导致任务管理功能无法正常使用。请关闭客户端,并前往您的数据库路径(可以在“系统配置
列举示例 本章节案例中的所有命令均以Linux操作系统为例,提供列举操作指导。 假设bucket-test桶内包含如下对象: obs://bucket-test/test1.txt obs://bucket-test/test2.txt obs://bucket-test/test3
用。 仅建议10万级以下文件定时上传,10万级以上定时上传请参考利用crontab配置定时任务。 当周期开始时,OBS Browser+会扫描本地文件与桶中对应路径的对象进行对比,仅在对象不存在,或者对象大小与文件大小不一致,或者对象的最后修改时间早于文件的最后修改时间时才会进行上传。
同步下载示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步下载操作指导。 假设bucket-test桶内包含如下对象: obs://bucket-test/src1/ obs://bucket-test/src1/test3.txt obs://bucket-test/src1/src2/
是否支持同步删除文件 不支持;当前obsutil工具支持同步上传本地目录到OBS桶中,同步成功后,如果用户删除了本地目录下的部分文件,再次进行增量同步上传时,工具将只会检查本地存在的文件是否需要增量进行上传,无法感知已删除文件是否需要在目标桶内进行删除。 需要注意的是,如果在上传
列举分段上传任务示例 本章节案例中的所有命令均以Linux操作系统为例,提供列举上传任务操作指导。 假设bucket-test桶内包含如下分段上传任务: obs://bucket-test/task1.txt uploadid1 obs://bucket-test/task1.txt
示例场景:每天21:30进入/root目录下,执行增量上传/src/src1文件夹到obs://bucket-test桶内。 前提条件 必须在Linux操作系统下,并且正常开启了crond(定时任务计划)服务。如果是windows用户请参考配置windows定时任务。 运行service
列举接口是否支持保存结果到本地文件 obsutil工具本身的列举相关操作不支持直接将结果保存在本地文件,但是可以通过操作系统提供的重定向操作实现将列举结果从屏显的标准输出重定向到指定的本地结果文件中;以列举桶内对象为例: Windows操作系统(在命令行cmd下执行该重定向操作)
ECS,推荐使用OBS Browser+工具,实现内网访问OBS的目的,详细操作请参见: 在Windows ECS上使用OBS Browser+通过内网访问OBS 对于Linux ECS,推荐使用obsutil工具,实现内网访问OBS的目的,详细操作请参见: 在Linux ECS上使用obsutil通过内网访问OBS
Windows操作系统 dir macOS/Linux操作系统 ls -a 或 ls -al obsutil会对.obsutilconfig文件中的AK和SK进行加密以保护密钥安全。 注意:通过-i、-k、-e配置用户认证信息,linux操作系统的history命令可查询配置参数值,请妥善使用该操作。
OBS Browser+不支持统计文件夹内的文件数目及大小,可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du -limit=0命令,查询桶bucket-test下test文件夹的大小。
obs://bucket[/key] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 归档到本地 obsutil archive [file_or_folder_url] [-config=xxx] [-e=xxx]
概览 Header中携带签名 URL中携带签名 基于浏览器上传的表单中携带签名 PUT上传对象 POST上传对象 07 工具 对象存储服务提供客户端、命令行等多种工具,满足您不同场景下的数据存储诉求。 OBS Browser+ 操作系统兼容性 下载OBS Browser+ 安装OBS