华为云计算 云知识 Hive基本原理
Hive基本原理

Hive是建立在Hadoop上的 数据仓库 基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HiveQL,它允许熟悉SQL的用户查询数据。Hive的数据计算依赖于MapReduce、Spark、Tez。

使用新的执行引擎Tez代替原先的MapReduce,性能有了显著提升。Tez可以将多个有依赖的作业转换为一个作业(这样只需写一次HDFS,且中间节点较少),从而大大提升DAG作业的性能。

Hive主要特点如下:

海量结构化数据分析汇总。

将复杂的MapReduce编写任务简化为SQL语句。

灵活的数据存储格式,支持JSON,CSV,TEXTFILE,RCFILE,SEQUENCEFILE,ORC(Optimized Row Columnar)这几种存储格式。

Hive体系结构:

用户接口:用户接口主要有三个:CLI,Client和WUI。其中最常用的是CLI,CLI启动的时候,会同时启动一个Hive副本。Client是Hive的客户端,用户连接至Hive Server。在启动Client模式的时候,需要指出Hive Server所在节点,并且在该节点启动Hive Server。WUI是通过浏览器访问Hive。MRS仅支持Client方式访问Hive,使用操作请参考从零开始使用Hive,应用开发请参考Hive应用开发。

元数据存储:Hive将元数据存储在 数据库 中,如mysql、derby。Hive中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。


上一篇:鲲鹏凌云·智耀津门 天津鲲鹏训练营&鲲鹏应用开发者大赛第一期1 下一篇:企业上云面临的困惑

MapReduce服务 MRS

 

MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。包年更优惠,买1年只需付10个月费用