检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
桶名称 桶的名称 桶类型 对象存储 还是 并行文件系统。 区域 桶所在的区域。 存储类别 桶的存储类别,有标准存储、低频访问存储、归档存储三种类别。 桶版本号 桶的版本号。 存储用量 桶中存储的对象占用的存储空间。 对象数量 桶中存储的对象数量。 多AZ 多AZ功能的状态。 开启多AZ后,数据冗余存储至多个AZ中。
口参考文档详细介绍了每个接口的参数和使用方法。 OBS客户端支持通过访问密钥、请求方法类型、请求参数等信息生成一个在Query参数中携带鉴权信息的URL,可将该URL提供给其他用户进行临时访问。在生成URL时,您需要指定URL的有效期来限制访客用户的访问时长。 如果您想授予其他用
OBS支持多版本控制,您可以在一个桶中保留对象的多个版本,使您更方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据。更多多版本相关信息请参见多版本控制。 调用获取桶的多版本状态接口,您可以获取指定桶的多版本状态。 接口约束 您必须是桶拥有者或拥有获取桶的多版本状态的权限,才能获取桶的多版本状态。建
Service)。对象存储服务提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。 您可以使用本文档提供的API对OBS进行相关操作,如创建、修改、删除桶,上传、下载、删除对象等。支持的全部操作请参见API概览。 在调用OBS
定义的元数据,以便对对象进行自定义管理。Map中的String代表以“x-obs-meta-”开头的自定义元数据名称,Object代表自定义元数据的值。对象的自定义元数据可以通过ObsClient.getObjectMetadata获取,参见获取对象元数据。 约束限制: 一个对象
初始化上传段任务时,可以在HTTP请求中加入以“x-obs-meta-”开头的消息头,用来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回消息的头中出现。更多说明详见对象自定义元数据介绍。 示例:x-obs-meta-test: test
obs_name_value * 可选 参数解释: 对象的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制: 无 取值范围: 无
该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 该请求的响应通过消息元素返回删除的结果,元素的具体意义如表2中所示。 表2 响应消息元素 字段名称 描述 DeleteResult 批删响应的根节点。 类型:Container Deleted 删除成功结果的Container。
度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精
az 附加参数,可选 指定桶的数据冗余存储策略。支持的值: multi-az 说明: multi-az代表创建数据冗余存储策略为多AZ存储的桶;不携带此参数代表创建数据冗余存储策略为单AZ存储的桶。 acl 附加参数,可选 创桶时可指定的预定义访问策略。支持的值: private public-read
对象自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制: 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为:每个键和值的UTF-8
以下示例中出现的费用价格仅供参考,实际价格请参见产品价格详情中“对象存储服务”的内容。 计费场景 某企业基于弹性云服务器(Elastic Cloud Server,ECS)构建好基础的业务后,随着数据增长,硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海量、弹性的云存储
桶策略和ACL的关系 桶ACL和桶策略的映射关系 桶ACL用于授予桶基本的读写权限,桶策略高级设置中支持更多在桶上可以执行的动作。桶ACL是对桶策略的补充,除了限定的只能由桶ACL授予日志投递用户组权限外,更多时候桶策略可以替代桶ACL管理桶的访问权限。桶ACL访问权限和桶策略动作的映射关系如表1所示。
可选 参数解释: 是否校验加密后数据的sha256,并设置加密前后的sha256作为自定义元数据。 说明: 为了节省内存开销,SDK 采用了流式计算的方法,这也就意味着,普通上传时需要读取并加密文件两次;在另外由于断点续传上传接口为分段上传接口的封装,在断点续传下,则需要读取并加密文件三次。
假设某企业下有A和B两个不同的业务部门,希望各业务部门的数据存放在自己的桶中,各业务部门的用户只能看到本部门的桶,且拥有本部门桶的上传权限。 在本场景下两个部门的管理员、用户与桶之间的逻辑关系如图1所示。 图1 逻辑关系 本例中仅为部门用户配置上传权限,您可根据实际业务需求配置其他的权限。关于桶策略的权限说明,请参见桶策略。
OPTIONS,称为预请求,是客户端发送给服务端的一种请求,通常被用于检测客户端是否具有对服务端进行操作的权限。只有当预请求成功返回,客户端才开始执行后续的请求。 OBS允许在桶内保存静态的网页资源,在正确的使用下,OBS的桶可以成为网站资源。在这种使用场景下,OBS中的桶作为服务端,需要处理客户端发送的OPTIONS预请求。
setObjectMetadata来设置对象属性,包括对象自定义元数据等信息。 除了 HTTP 标准头域外,您也可以指定自定义元数据,自定义元数据仅支持英文字符、数字与中划线【-】。 以下代码展示了如何设置对象属性: // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变
数据安全 服务端加密 多版本控制 配置对象锁定(WORM)防止对象被更改或删除 配置CORS实现跨域访问OBS 配置防盗链防止非法流量盗用 配置双端固定实现VPC粒度的访问控制
est作为对象的数据源。您可以通过putObject上传您的数据流到OBS。以下代码展示了如何进行流式上传: 上传字符串 static OBSClient *client; NSString *endPoint = @"your-endpoint"; // 认证用的ak和sk硬编