检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ECS上通过内网访问OBS 在ECS上通过内网访问OBS方案概述 在Windows ECS上使用OBS Browser+通过内网访问OBS 在Linux ECS上使用obsutil通过内网访问OBS 父主题: OBS数据访问
33%,单盘利用率低于70%。 方案架构 针对传统企业在大数据场景面临的问题,华为云提供了基于对象存储服务OBS作为统一数据湖存储的大数据存算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力,以及多协议共享访问技术(HDFS/POSIX/OBS
定时上传 OBS Browser+ 提供强大的定时上传功能,您可以将本地磁盘或目录中的一个或多个文件周期性的上传到目标桶的对应路径下。 首先进入定时上传页面,单击“立即上传”,进入到“创建定时上传”页面。 然后选择目标桶类型、桶路径、本地上传对象,您还可以打开自动上传开关,设置上传周期策略。
题进行排查。 方案优势 支持上传和下载文件、目录、 软链接、设置用户权限等POSIX文件协议标准的大部分功能。 支持多段上传。 可以使用本地磁盘作为缓存提高IO性能。 约束与限制 s3fs不支持挂载并行文件系统。 随机写或追加写文件场景需要重写整个文件,会有带宽浪费。 由于网络延迟,元数据操作(如列举目录)性能较差。
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
properties文件中增加配置: log4j.logger.com.obs=ERROR obsa写入时临时文件的目录配置 Flume写OBS时会先写入本地磁盘缓冲区,然后上传到OBS,如果对写入OBS有极致性能要求请选择高性能磁盘作为缓冲区,在core-site.xml文件中增加配置: 1 2
使用Java SDK之前,您需要拥有一个华为账号并实名认证、为账号充值,接着获取访问密钥、准备开发环境,然后下载并安装Java SDK。 注册华为账号并实名认证。 如果您已有华为账号,请忽略此步骤。如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名
快速入门 OBS服务环境搭建 安装SDK 获取服务地址 初始化OBS客户端 创建桶 上传对象 下载对象 列举对象 删除对象 OBS客户端通用示例
多版本控制简介 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS支持保存一个对象的多个版本,您可以利用多版本控制,在一个桶中保留多个版本的对象。 多版本功能可以方便地检索和
多版本控制简介 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS支持保存一个对象的多个版本,使您更方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据。 更多关于多版本控制的内容请参见多版本控制。
查看桶多版本状态 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient->getBucketVersioning查看桶的多版本状态。 本示例用于获取桶名为
复制多版本对象 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient->copyObject接口在CopySource参数中指定待复制对象的versionId来复制多版本对象,
获取多版本对象 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.getObject接口指定VersionId参数来获取多版本对象,示例代码如下: //
配置OBS客户端(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 您可通过初始化参数对ObsClient进行配置,可以配置的参数见下表: 参数 描述 建议值 access_key_id 访问密钥中的AK。
获取多版本对象 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient->getObject接口指定VersionId参数来获取多版本对象。 本示例用于下载
列举多版本对象 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.listVersions列举多版本对象。 该接口可设置的参数如下: 参数 作用 Prefix
多版本控制 多版本控制简介 设置桶多版本状态 查看桶多版本状态 获取多版本对象 复制多版本对象 恢复多版本归档存储对象 列举多版本对象 多版本对象权限 删除多版本对象
基本概念 对象 桶 并行文件系统 专属对象存储 访问密钥(AK/SK) 终端节点(Endpoint)和访问域名 区域和可用区
对象上传简介(Java SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 在OBS中,用户操作的基本数据单元是对象。OBS Java SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 流式上传 文件上传 分段上传
deleteObject接口传入版本号(versionId)删除多版本对象。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是桶拥有者或拥有删除对象的权限,才能删除对象。建议使用IAM或桶策略进行授权,如果使用IA