检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是不需要进行认证就可以访问的。所以本文基于大数据组件中流行的kerberos认证方式,对hive metastore进行认证配置。
重启smartbi使jvm配置生效 对接hive(zk模式) 进入smartbi安装目录C:\Smartbi\Tomcat\bin\dynamicLibraryPath,新建驱动存放路径,例如MRS_Hive,并将hive的JDBC驱动放置于该目录下,如下图所示 注意:
/hive”各日志功能如下表:表1 Hive日志列表日志类型日志文件名描述HiveServer运行日志hive.logHive运行日志。hive.xxxx-xx-xx.log.zip运行日志的历史归档,以归档时的日期作为标识。如,hive.2016-02-29_13-08-24.[7]
show databases; 查看hive_storage中的所有表 use hive_storage; show tables; 查看sample_table_1表中的数据 select * from sample_table_1; 查看表sample_table_1的详细信息
器的所有服务。 测试 Hive OK! # 切换到hive用户 su - hive # 连接hive hive # 查看数据库 show databases; # 创建测试库test create database test; # 查看数据库 创建test成功即可 show
解决数据倾斜的问题,可通过设置“set hive.optimize.skewjoin=true”并调整“hive.skewjoin.key”的大小。“hive.skewjoin.key”是指Reduce端接收到多少个key即认为数据是倾斜的,并自动分发到多个Reduce。 父主题: Hive性能调优
CREATE INDEX SDS_N50 ON SDS(CD_ID); 重新查看执行计划,发现语句已经可以索引查询,且5ms执行完成(原来是700ms)。重新执行hive表字段增加,已经可以添加成功。 父主题: 使用Hive
ericStatsEvaluator.init. 解决方案:set hive.map.aggr=false; Hive SQL设置hive.auto.convert.join = true(默认开启)和hive.optimize.skewjoin=true执行报错:ClassCastException
Hive服务健康状态和Hive实例健康状态的区别 问题现象 Hive服务健康状态和Hive实例健康状态的区别是什么? 解决方案 Hive服务的健康状态(也就是在Manager界面看到的健康状态)有Good,Bad,Partially Healthy,Unknown四种状态 ,四种
②向表中加载数据 hive (default)> insert into table log_orc select * from log_text ; 1 ③查看表中数据大小 hive (default)> dfs -du -h /user/hive/warehouse/log_orc/
FUNCTION Hive管理员权限(Hive Admin Privilege) DROP FUNCTION Hive管理员权限(Hive Admin Privilege) ALTER DATABASE Hive管理员权限(Hive Admin Privilege) 父主题: Hive用户权限管理
配置具备表select权限的用户可查看表结构 操作场景 使用Hive建表时,其他用户被授予select权限后,支持通过show create table查看表结构。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。
报错信息如下,使用的是官方提供的jar包
C70 集群,使用默认的 Hive 配置(MR引擎)客户有许多hive表,然后在上面创建视图,对外使用的时候通过视图来访问,这样底层改变的话,不影响上层应用。【操作步骤&问题现象】因为使用视图,所以发现一些查询条件无法被利用到做分区过滤,导致 hive 启动大量的 task (可
该API属于IAMAccessAnalyzer服务,描述: Delete the specified archive rule.接口URL: "/v5/analyzers/{analyzer_id}/archive-rules/{archive_rule_id}"
hive 存储,解析,处理json数据 hive 处理json数据总体来说有两个方向的路走 将json以字符串的方式整个导入Hive表,然后通过使用UDF函数解析已经导入到hive中的数据,比如使用LATERAL VIEW json_tuple的方法,获取所需要的列名。 在导入
mapjoin。 set hive.auto.convert.join=true; 默认小表<=25M。 set hive.mapjoin.smalltable.filesize=25M; 默认false,分桶表表mapjoin专用。 set hive.optimize.bucketmapjoin=true;
jar包添加至HIVE_HOME/lib中 (4)启动Hive /opt/hive/bin/hive --service metastore (5)启动Hive命令行窗口 beeline -u jdbc:hive2://localhost:10000 或者 /opt/hive/bin/hive
语句,Hive会自动添加指定文件到当前环境中,效果与add语句相同,执行后即可list查看已添加的文件或jar包。 CREATE FUNCTION [db_name.]function_name AS class_name [USING JAR|FILE|ARCHIVE 'file_uri'
配置HiveMetaStore客户端连接负载均衡 操作场景 Hive的MetaStore客户端连接支持负载均衡,即可通过服务端在ZooKeeper记录的连接数,选择连接最少的节点进行连接,防止大业务场景下造成某个MetaStore高负载,其他MetaStore空闲情况,开启此功能不影响原有连接方式。