检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。 HDFS协议:Hado
获取多版本对象 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.GetObject接口传入版本号(VersionId)来获取多版本对象。 本示例用于
相关链接 关于查看桶多版本状态的API说明,请参见获取桶的多版本状态。 更多关于查看桶多版本状态的示例代码,请参见Github示例。 查看桶多版本状态过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 多版本控制相关问题请参见多版本控制相关常见问题。 父主题: 多版本控制(Java
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
为什么OBS存储的数据丢失了? 如果您的OBS中存储的数据丢失了,请按照以下原因排查: 请检查桶中是否设置了生命周期过期删除规则,符合规则的对象会被删除。 请检查桶是否授权了其他用户桶的写权限,被授权的用户都可以删除对象。如果您开启了日志记录功能,可以通过日志记录查询到删除对象的用户。
删除多版本对象(Java SDK) 功能说明 为节省空间和成本,您可以根据需要删除指定桶中的对象。 您可以通过ObsClient.deleteObject接口传入版本号(versionId)删除多版本对象。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
关于设置桶的多版本状态的API说明,请参见设置桶的多版本状态。 更多关于设置桶的多版本状态的示例代码,请参见Github示例。 设置桶的多版本状态过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 多版本控制相关问题请参见多版本控制相关常见问题。 父主题: 多版本控制(Java
多版本控制简介 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 OBS支持保存一个对象的多个版本,使您更方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据。 更多关于多版本控制的内容请参见多版本控制。 父主题: 多版本控制
设置对象元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.setObjectMetadata来设置对象属性,包括CacheControl,Co
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。 设在对象上,所有人可以获取该对象内容和元数据。 AccessControlList.REST_CANNED_PUBLIC_READ_WRITE 公共读写。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、上传对象删
多版本控制简介 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS支持保存一个对象的多个版本,使您更方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据。 更多关于多版本控制的内容请参见多版本控制。
恢复多版本归档存储对象 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 您可以通过restore_object接口传入版本号(obs_object_info .version_id)来恢复多版本归档存储对象,示例代码如下: static
数据。更多多版本相关信息请参见多版本控制。 调用设置桶的多版本状态接口,您可以为指定桶设置多版本状态。 接口约束 您必须是桶拥有者或拥有设置桶的多版本状态的权限,才能设置桶的多版本状态。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:bucket:PutBucket
数据。更多多版本相关信息请参见多版本控制。 调用获取桶的多版本状态接口,您可以获取指定桶的多版本状态。 接口约束 您必须是桶拥有者或拥有获取桶的多版本状态的权限,才能获取桶的多版本状态。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:bucket:GetBucket
在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 在左侧导航栏选中“数据回源”,进入“数据回源”页面。 单击“复制”。 选择复制源,即数据回源规则所在的源桶。 从源桶复制数据回源规则的操作为增量复制,不会删除当前桶已存在的数据回源规则,与已存在的数据回源规则冲突的规则不会复制。 源桶和目标桶的桶版本号都必须是3
和对象时会同步创建ACL,授权拥有者对桶和对象资源的完全控制权限。 OBS的ACL为了实现用户简单实用地授权,包含以下特点: ACL对租户和租户下的用户都生效。 桶和对象的拥有者相同时,设置桶上的ACL默认对桶及桶中对象都生效。 桶创建时可以携带ACL,也可以创建成功后设置ACL
我可以在OBS中存储多少数据? OBS系统和单个桶都没有总数据容量和对象/文件数量的限制,但对于单次上传对象的大小有如下限制: OBS管理控制台支持批量上传文件,单次最多支持100个文件同时上传,总大小不超过5GB。如果只上传1个文件,则这个文件最大为5GB。 OBS Brows
AD等。 流量费用:源端下载数据时,会产生流量费用,流量由数据的实际大小决定,费用由源端数据所在云服务商收取;数据上传至华为云OBS不收取流量费用。 对象存储迁移服务暂不支持迁移多版本的对象存储数据。 OMS同样适用于OBS桶和并行文件系统桶之间的数据迁移。 迁移流程 迁移流程如