检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
AD等。 流量费用:源端下载数据时,会产生流量费用,流量由数据的实际大小决定,费用由源端数据所在云服务商收取;数据上传至华为云OBS不收取流量费用。 对象存储迁移服务暂不支持迁移多版本的对象存储数据。 OMS同样适用于OBS桶和并行文件系统桶之间的数据迁移。 迁移流程 迁移流程如
OBS数据安全 OBS安全配置建议 减少因误操作导致的数据丢失风险
部门/项目之间数据共享 企业不同部门/项目之间需要共享的数据,本部门/项目允许其他部门/项目用户下载共享数据,禁止写删,以降低共享数据被误删、篡改的风险。 本文以部门A共享存储在example-bucket桶中的数据给部门B的用户下载为例,介绍如何以最小权限原则对共享数据进行权限控制
OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案,提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。 选择不同存储类别、不同数据冗余存储策略时,数据的持久性和可
查询桶触发器 功能介绍 本接口用于查询桶上绑定工作流触发器。 请求消息样式 GET /?obsworkflowtriggerpolicy HTTP/1.1 Host: bucket.obs.cn-north-4.myhuaweicloud.com Authorization: authorization
的企业业务,安全保障的费用还需额外考虑。 OBS的优势 数据稳定,业务可靠:OBS支撑手机云相册,数亿用户访问,稳定可靠。通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案,保障数据持久性高达99.9999999999%,业务连续性高达99
在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 在左侧导航栏选中“数据回源”,进入“数据回源”页面。 单击“复制”。 选择复制源,即数据回源规则所在的源桶。 从源桶复制数据回源规则的操作为增量复制,不会删除当前桶已存在的数据回源规则,与已存在的数据回源规则冲突的规则不会复制。 源桶和目标桶的桶版本号都必须是3
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
查询授权 功能介绍 本接口用于查询授权,查询由OBS服务自动帮助用户创建工作流运行时需要的函数服务权限,以及函数服务运行时的权限。该函数具有幂等性。 请求消息样式 GET /v2/workflow-authorization HTTP/1.1 Host: obs.cn-north-4
设置对象元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.setObjectMetadata来设置对象属性,包括CacheControl,Co
仅当使用cp命令并且配置了-vmd5选项上传对象后,才能查询到该值。 ETag 服务端计算的对象ETag值。 ContentType 对象的Content-Type。 Type 对象的类型。 Metadata 对象的自定义元数据。 说明: 对象有自定义元数据后,才能查询到该值。 父主题: 对象相关命令
OBS的数据冗余存储方式是什么? OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。 在满足同等可靠性要求的前提下,EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶,在AZ内的节点间使用EC算法做数据冗余;“多AZ”的桶在AZ内
通过相关服务将数据迁移到OBS 对象存储迁移服务(Object Storage Migration Service,OMS) 迁移第三方云厂商数据至OBS_OMS方式 云数据迁移(Cloud Data Migration,CDM) 搬迁本地数据至OBS_CDM方式 数据快递服务(Data
下载相关章节完成数据迁移。 不同方式支持的操作系统、迁移数据量、操作简易程度存在差异,推荐您使用obsutil工具进行数据迁移。 为了节省您的开支,建议您配置内网DNS,通过华为云内网完成数据迁移。具体配置方法,请参见通过内网访问OBS。 表1 OBS提供的数据迁移工具 工具 支持的操作系统类型
对象的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制: 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为:每个键和值的UTF-8
对象的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制: 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为:每个键和值的UTF-8
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
调用ObsClient的相关接口均需要传入请求数组(associative array类型)作为输入。对于桶操作接口,请求数组中固定包含Bucket用于指定桶名(ObsClient->listBuckets除外);对于对象操作接口,请求数组中固定包含Bucket和Key分别用于指定桶
获取自定义元数据 在下载对象成功后response中包含了对象的元数据(mataDataDict)。 父主题: 下载对象