检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
桶策略 桶的访问权限分为桶的ACL权限和桶策略两种。本节介绍桶策略以及配置方法。 桶策略简介 配置桶策略 父主题: 桶的高级配置
-method=delete,指定删除桶bucket的桶策略。 obsutil bucketpolicy obs://bucket -method=delete Start at 2024-09-30 08:09:29.6396262 +0000 UTC Delete bucketPolicy succeed
删除桶 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient->deleteBucket删除桶。以下代码展示如何删除一个桶: // 引入依赖库 require
概述 OBS Browser支持通过桶策略、对象策略、桶ACL和对象ACL进行权限控制。 桶策略:桶策略是作用于所配置的OBS桶及桶内对象的。OBS桶拥有者通过桶策略可为IAM用户或其他账号授权桶及桶内对象的操作权限。 对象策略:主账号将对象的读写权限授权给该账号下的IAM用户。
// 创建ObsClient实例 ObsClient obsClient = new ObsClient(ak, sk, endPoint); ObsBucket obsBucket = new ObsBucket(); obsBucket.setBucketName("bucketname");
创建桶 功能说明 按照用户指定的桶名创建一个新桶。新创建桶的桶名在OBS中必须是唯一的。一个用户可以拥有的桶的数量不能超过100个。 如果是同一个用户在同一区域的重复创建同名桶不会报错,返回HTTP状态码200,创建的桶属性以第一次请求为准。除此以外的其他场景重复创建同名桶返回HTTP状态码409,表明桶已存在。
对象数据的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。 无 对象存储类型 对象的存储类型,不同的存储类型可以满足客户业务对存储性能、成本的不同诉求。默认与桶的存储类型保持一致,可以设置为与桶的存储类型不同。 无 对象自定义元数据 用户对上传到桶中对象的自定义属性描述,以便对对象进行自定义管理。
OBS工具汇总 对象存储服务(Object Storage Service,OBS)提供如表1所示工具,供用户使用。 表1 OBS工具一览表 工具 说明 应用场景 OBS Browser+ OBS Browser+是一款用于访问和管理对象存储服务的图形化工具,支持完善的桶管理和对象管理操作。OBS
bucketpolicy obs://bucket -method=put -localfile=d:\temp\policy.json,指定基于policy.json文件为桶bucket设置桶策略。 obsutil bucketpolicy obs://bucket -method=put
bucketpolicy obs://bucket -method=get -localfile=d:\temp\policy.json,指定导出桶bucket的桶策略至本地文件policy.json。 obsutil bucketpolicy obs://bucket -method=get
创建桶(Python SDK) 功能介绍 OBS桶是对象的容器,您上传的文件都将以对象的形式存放在桶中。本文介绍如何使用Python SDK创建桶。 调用创建桶接口,将在当前账号按照用户指定的桶名创建一个新桶,接口支持根据用户诉求,在创建桶的同时配置桶的存储类别、区域及桶的访问权限等参数。
设在对象上,所有人可以获取该对象内容和元数据。 ObsClient.enums.AclPublicReadWrite 桶公共读,桶内对象公共读 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据,可以获取该桶内对象的内容和元数据。 不能应用于对象。 ObsClient.enums.Ac
如何在浏览器中在线预览OBS中的对象? 背景信息 基于安全合规要求,华为云对象存储服务OBS禁止通过OBS的默认域名(桶访问域名或静态网站访问域名)在线预览桶内对象,即使用上述域名从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。 OBS不支持在线预览
删除桶 功能说明 删除桶,待删除的桶必须为空(不包含对象、历史版本对象或分段上传碎片)。 如果要删除非空桶,请先使用删除分段上传任务命令和删除对象命令,将桶清空后再执行删除桶命令。 命令结构 Windows操作系统 obsutil rm obs://bucket [-f] [-config=xxx]
桶存储类型 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS允许您对桶配置不同的存储类型,桶中对象的存储类型默认将与桶的存储类型保持一致。不同的存储类型可以满足客户业务对存
OBS Browser+功能概述 OBS Browser+支持的功能如OBS Browser+功能列表所示。 表1 OBS Browser+功能列表 功能 描述 对象存储桶基本操作 支持对象存储桶的基本操作,包括指定区域创建桶、列举桶、查询桶基本信息、桶ACL、桶内碎片管理、修改桶的存储类别、删除桶等。
默认与桶的存储类别一致。上传后,对象的存储类别可以修改。 您可以根据使用习惯、业务场景通过多种使用方式将文件(数据)上传至桶,OBS最终将这些文件以对象的形式存储在桶中。OBS中桶和对象按区域划分,无论您通过哪种方式使用OBS,都可以通过其他方式在同一区域访问相同的桶及桶内资源。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
桶名 桶的名称。 区域 桶所在的区域。 存储类别 桶的存储类别,有标准存储、低频访问存储、归档存储三种类别。 存储用量 桶中存储的对象占用的存储空间。 桶的存储空间默认情况下是没有配额限制的,您也可以通过设置桶配额来设置桶的存储空间,详情请参见设置桶配额。 对象数量 桶中文件夹、当前版本文件和历史版本文件总和。