MAPREDUCE服务 MRS-添加Hive数据源:Hive数据源介绍
Hive数据源介绍
HetuEngine服务在安装时已经将共部署(与HetuEngine在同一个Hadoop集群)的Hive数据源默认实现对接,数据源名称为“hive”,不可删除。部分默认配置不可修改,如数据源名称,数据源类型,服务端Principal,客户端Principal等。但当环境配置发生变化时,如修改了本集群的“本端域” 域名 ,重启HetuEngine服务可以自动同步共部署Hive数据源的相关配置,如服务端Principal,客户端Principal。
- HetuEngine目前支持对接的数据格式包括:avro、text、rctext、orc、parquet、sequencefile。
- HetuEngine对接Hive数据源,不支持指定多分隔符建表,但对于在Hive数据源中指定MultiDelimitSerDe类作为序列化类来创建text数据格式的多分隔符表,可以通过HetuEngine查询,其他场景不支持。
- HetuEngine对接的Hive数据源支持Hudi表重定向功能。适用于 MRS 3.3.0及以后版本。该功能支持在Hive connector访问Hudi表时重定向到Hudi connector,从而使用Hudi connector高级功能。使用该功能需提前配置目标Hudi数据源,并确保Hudi数据源与当前Hive数据源的Metastore URL一致,并在Hive数据源中配置“开启Hudi重定向”参数即可。
- 若需要使用Hive Metastore隔离功能,需要在Hive侧配置“HIVE_METASTORE_URI_HETU”,配置完成后需要重启HetuEngine服务的HSBroke实例,刷新Hive Metastore URI信息。
本章节指导用户在HSConsole界面添加集群外部的Hive类型数据源。
- MapReduce服务_什么是Hive_如何使用Hive
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine
- MapReduce服务_什么是Loader_如何使用Loader
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MRS备份恢复_MapReduce备份_数据备份
- 大数据分析是什么_使用MapReduce_创建MRS服务
- Hudi服务_什么是Hudi_如何使用Hudi
- 数据治理中心_数据开发_数据开发能力_脚本和节点介绍-华为云
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离