检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入并配置Hive样例工程 导入并配置Hive JDBC样例工程 导入并配置Hive HCatalog样例工程 导入并配置SpringBoot样例工程 配置Hive Python样例工程 配置Hive Python3样例工程 父主题: 准备Hive应用开发环境
配置用户租约隔离访问指定节点的HiveServer Hive用户租约隔离即可以限定指定用户访问指定节点上的HiveServer服务,实现对用户访问HiveServer服务的资源隔离。 操作步骤 以对用户hiveuser设置租约隔离为例,选取Hive当前已有的或者新添加一个或者多个实
Hive SQL与SQL2003标准有哪些兼容性问题 本文列举目前已发现的Hive SQL与SQL2003标准兼容性问题。 不支持在having中写视图。 举例如下: select c_last_name ,c_first_name ,s_store_name
HiveServer或者MetaStore实例的健康状态为unknown 问题现象 HiveServer或者MetaStore实例的健康状态为unknown。 可能原因 HiveServer或者MetaStore实例被停止。 解决方案 重启HiveServer或者MetaStore实例。
数值,Hive常用参数如表1所示。 表1 Hive常用参数说明 参数名称 参数说明 默认值 hive.auto.convert.join Hive基于输入文件大小将普通join转为mapjoin的开关,取值范围为: true false 说明: 在使用Hive进行联表查询,且关联
bigdata_env 根据集群认证模式,完成Hive客户端登录。 安全模式,则执行以下命令,完成用户认证并登录Hive客户端。 kinit 组件业务用户 beeline 普通模式,则执行以下命令,登录Hive客户端。 使用指定组件业务用户登录Hive客户端。 beeline -n 组件业务用户 不指
bigdata_env 根据集群认证模式,完成Hive客户端登录。 安全模式,则执行以下命令,完成用户认证并登录Hive客户端。 kinit 组件业务用户 beeline 普通模式,则执行以下命令,登录Hive客户端。 使用指定组件业务用户登录Hive客户端。 beeline -n 组件业务用户 不指
建表时配置Hive数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式,RCFile是Hive优化的文件格式。RCFile优化了列存储,在对大表进行查询时,综合性能表现比SequenceFile更优。
5 and day <= 27; 查询含有冻结数据的表 查询当前数据库下的所有冻结表: show frozen tables; 查询指定数据库下的所有冻结表: show frozen tables in 数据库名称; 查询冻结表的冻结分区 查询冻结分区: show frozen partitions
Hive常见问题 如何删除所有HiveServer中的永久函数 为什么已备份的Hive表无法执行drop操作 如何在Hive自定义函数中操作本地文件 如何强制停止Hive执行的MapReduce任务 Hive不支持复杂类型字段名称中包含哪些特殊字符 如何对Hive表大小数据进行监控
本接口的使用需要前置条件,请参阅“开发规范”中的Hive规则。 /hive(POST) 描述 执行Hive命令 URL http://www.myserver.com/templeton/v1/hive 参数 参数 描述 execute hive命令,包含整个和短的Hive命令。 file 包含hive命令的HDFS文件。
输出数据量。 操作步骤 在Hive客户端进行如下设置: set hive.map.aggr=true; 注意事项 Group By数据倾斜 Group By也同样存在数据倾斜的问题,设置hive.groupby.skewindata为true,生成的查询计划会有两个MapReduce
通常情况下,当遇到SQL语句运行失败,首先需要查看HiveServer运行日志。 MetaStore运行日志 通常情况下,当遇到查看HiveServer运行日志时,如遇到MetaException或者连接MetaStore失败,则需要查看MetaStore运行日志。 GC日志查看 HiveServer和Me
ericStatsEvaluator.init. 解决方案:set hive.map.aggr=false; Hive SQL设置hive.auto.convert.join = true(默认开启)和hive.optimize.skewjoin=true执行报错:ClassCastException
建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时,一般会扫描整个表内容,会消耗较多时间去扫描不关注的数据。此时,可根据业务需求及其查询维度,建立合理的表分区,从而提高查询效率。 操作步骤 MRS 3.x之前版本: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。选择“节点管理
导入并配置Hive样例工程 导入并配置Hive JDBC样例工程 导入并配置Hive HCatalog样例工程 导入并配置SpringBoot样例工程 配置Hive Python样例工程 配置Hive Python3样例工程 父主题: 准备Hive应用开发环境
from tbl。 Hive客户端常用命令 常用的Hive Beeline客户端命令如下表所示。 更多命令可参考https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients#HiveServer2Clie
解决数据倾斜的问题,可通过设置“set hive.optimize.skewjoin=true”并调整hive.skewjoin.key的大小。hive.skewjoin.key是指Reduce端接收到多少个key即认为数据是倾斜的,并自动分发到多个Reduce。 父主题: Hive性能调优
Hive支持ZSTD压缩格式 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC、RCFile、TextFi
加载文件到Hive的需求,但是当指定“LOCAL”时,这里的路径指的是当前连接的“HiveServer”的本地文件系统的路径,同时由于当前的“HiveServer”是集群式部署的,客户端在连接时是随机连接所有“HiveServer”中的一个,需要注意当前连接的“HiveServe