检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据仓库相比数据库,主要有以下两个特点: 数据仓库是面向主题集成的。数据仓库是为了支撑各种业务而建立的,数据来自于分散的操作型数据。因此需要将所需数据从多个异构的数据源中抽取出来,进行加工与集成,按照主题进行重组,最终进入数据仓库。
修改对象元数据 功能介绍 用户可以通过本接口添加、修改或删除桶中已经上传的对象的元数据。 请求消息样式 1 2 3 4 5 6 7 8 PUT /ObjectName?metadata HTTP/1.1 Host: bucketname.obs.cn-north-4.myhuaweicloud.com
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(MRS
获取自定义元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。 本示例用于下载桶名为“bucketname”里,名称为“objectname
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
获取对象元数据 功能介绍 拥有对象读权限的用户可以执行HEAD操作命令获取对象元数据,返回信息包含对象的元数据信息。 获取采用SSE-C加密的对象的元数据时,需要携带SSE-C相关头域,详见表2。 多版本 默认情况下,获取的是最新版本的对象元数据。如果最新版本的对象是删除标记,则返回
数据处理费用 当您使用图片处理功能时,对象存储服务OBS会收取相应的费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据处理费用 图片处理 被处理的原图片的实际大小。 具体请参见图片处理如何收费? 按需计费 产品定价 详细的服务资费费率标准请参见产品价格详情中“对象存储服务
产品优势 OBS与自建存储服务器对比 在信息时代,企业数据直线增长,自建存储服务器存在诸多劣势,已无法满足企业日益强烈的存储需求。表1向您详细展示了OBS与自建存储服务器的优劣势对比。 表1 OBS与自建存储服务器对比 对比项 OBS 自建存储服务器 数据存储量 提供海量的存储服务
与其他服务的关系 对象存储服务OBS与周边服务的依赖关系如图1所示。 图1 对象存储服务OBS与其他服务的关系示意图 表1 与其他服务的关系 交互功能 相关服务 位置 通过相关服务将数据迁移到OBS 对象存储迁移服务(Object Storage Migration Service
如何迁移数据至OBS? 数据迁移场景 数据迁移至OBS主要有以下几种场景: 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移(跨账号、跨区域以及同区域内数据迁移) 场景一:搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下,了解更多详见搬迁本地数据至OBS最佳实践
数据保护技术 OBS通过多种数据保护手段和特性,保障存储在OBS中的数据安全可靠。 表1 OBS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) OBS支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。
获取桶元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.GetBucketMetadata接口获取桶元数据。 本示例用于获取桶名为“bucketname
数据恢复费用 访问低频访问存储类别、归档存储类别和深度归档存储类别的对象时,会根据对象大小等产生额外的数据恢复费用。此项费用不管通过内、外网访问均会产生;如果使用外网访问,则会同时计入到公网流出流量费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据恢复费用 数据读取流量
支持关系数据库,数据仓库,NoSQL,大数据云服务等数据源。 详细内容请参见云数据迁移。
OBS的持久性和可用性如何? OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案,提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构
设置对象元数据(Java SDK) 功能说明 您可以在上传对象时设置对象元数据。对象元数据包含对象长度、对象MIME类型、对象MD5值(用于校验)、对象存储类别、对象自定义元数据。对象元数据可以在多种上传方式下(流式上传、文件上传、分段上传),或复制对象时进行设置。 开发过程中,您有任何问题可以在
设置对象元数据(Java SDK) 功能说明 元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前仅支持系统定义的元数据。 系统定义的元数据又分为两种类别:系统控制和用户控制。如Last-Modified日期等数据由系统控制,不可修改;如为对象配置的
大数据场景下使用OBS实现存算分离方案概述 应用场景 随着大数据技术的飞速发展,对数据价值的认识逐渐加深,大数据已经融入到了各行各业。根据相关调查报告数据显示,超过39.6%的企业正在应用大数据并从中获益;超过89.6%的企业已经成立或计划成立相关的大数据分析部门;超过六成的企业在扩大大数据的投入力度
获取自定义元数据(Java SDK) 功能说明 元数据(Metadata)为描述对象属性的信息,是一组键值对,用作对象管理的一部分。 本接口可以在下载对象成功后返回对象的自定义元数据。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助