检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Cloudera CDH对接OBS 部署视图 安装版本 硬件:1Master+3Core(配置:8U32G,操作系统:CentOS 7.5) 软件:CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBS
eSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。
命令结构 Windows操作系统 obsutil stat obs://bucket [-acl] [-bf=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil stat
支持批量上传、下载、删除、复制、移动等。 支持拖拽上传。 定时上传。 并行文件系统基本操作 支持并行文件系统的基本操作,包括列举并行文件系统,查询并行文件系统的基本信息、并行文件系统ACL、碎片管理、删除并行文件系统等。 并行文件系统中对象基本操作 支持并行文件系统中对象的基本操作,包括新建文件夹,上传对象,列举对象、下载对象、删除对象等。
只有桶的拥有者才能删除桶。 操作步骤 登录OBS Browser。 选中待删除的桶,单击“更多 > 删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。 在消息确认框中单击“确定”。 在弹出的消息窗口中,单击“确定”关闭消息窗口。 父主题: 入门
传任务。 操作步骤 登录OBS Browser+。 选中待删除的桶,单击“删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。 单击确认框中的“是”后,删除该桶。 父主题: 桶的基本操作
只有桶的拥有者才能删除桶。 操作步骤 登录OBS Browser。 选中待删除的桶,单击“更多 > 删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。 在消息确认框中单击“确定”。 在弹出的消息窗口中,单击“确定”关闭消息窗口。 父主题: 桶管理
是否可以同时装两个不同站点的OBS Browser+工具? 不可以。 一个系统中只允许安装一个版本的OBS Browser+工具。 不同局点提供的OBS Browser+工具可能支持的功能不一致。 因此,如果您想使用某一个局点的OBS请下载相应局点的OBS Browser+工具。
删除桶命令。 命令结构 Windows操作系统 obsutil rm obs://bucket [-f] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil rm obs://bucket
常见问题 如何对OBS进行访问权限控制? IAM权限和桶策略访问控制有什么区别? 在IAM配置OBS系统权限后仍然提示拒绝访问,请检查相应权限 给IAM用户配置了桶读写权限,登录控制台仍然提示拒绝访问,请检查相应权限 已配置OBS权限,仍然无法访问OBS(403 AccessDenied)
bucketname) fmt.Printf("RequestId:%s\n", output.RequestId) return } fmt.Printf("Head bucket(%s) fail!\n", bucketname) if obsError
下载OBS Browser+ 针对不同操作系统,OBS Browser+下载地址如表1所示。 表1 下载列表 支持平台 软件包下载地址 SHA256校验和 Windows x32 OBSBrowserPlus-win32 1ad44933c34668cd24bb9460de48d
BS,从而对请求加密签名,确保请求的机密性、完整性和请求双方身份的正确性。 创建访问密钥(AK和SK) 并行文件系统 并行文件系统是存储数据的容器。 创建并行文件系统 注册华为账号并开通华为云 在使用obsfs之前,您需要拥有一个华为账号并且成功开通OBS。OBS提供按需和资源包
obsutil适用于Windows、Linux和macOS三大主流的操作系统,在各操作系统上推荐使用的版本如表1所示。您可以单击这里获取到obsutil在不同操作系统上的下载地址及下载方法。 表1 obsutil推荐使用的操作系统版本 操作系统 推荐使用版本 Windows Windows 7 Windows
SDK源码请参见:GitHub 接口参考文档地址:SDK API文档 兼容性 版本修订记录信息:ChangeLog。 推荐使用的Android系统版本:Android 7.0,8.0,8.1,9.0,10.0版本(HTTP/HTTPS协议)。 jdk1.8环境建议使用3.21.12版本的OBS
复制示例 本章节案例中的所有命令均以Linux操作系统为例,提供复制操作指导。 假设bucket-src桶内包含如下对象: obs://bucket-src/test1.txt obs://bucket-src/test2.txt obs://bucket-src/test3.txt
获取桶的策略配置。 删除桶策略 ObsClient.deleteBucketPolicy 删除指定桶的桶策略。无论桶的策略本身是否存在,删除成功后系统都直接返回“204 No Content”的结果。 设置桶的生命周期配置 ObsClient.setBucketLifecycleConfiguration
0次。 如果对象存储类别为COLD(归档存储)或深度归档存储,则不能调用该接口。 如果桶设置了跨区域复制配置,则不能调用该接口。 并行文件系统不支持追加上传对象。 ObsClient.putObject上传的对象可覆盖ObsClient.appendObject上传的对象,覆盖后对象变为普通对象,不可再进行追加上传。
config命令配置源桶对应账号的AK、SK及endpoint信息: Windows操作系统 obsutil config -i=src_ak -k=src_sk -e=src_endpoint -crr Linux操作系统 ./obsutil config -i=src_ak -k=src_sk
console.log("RequestId: %s", result.CommonMsg.RequestId); return; } console.log("Delete bucket(%s)'s encryption configuration