检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive服务健康状态和Hive实例健康状态的区别 问题现象 Hive服务健康状态和Hive实例健康状态的区别是什么? 解决方案 Hive服务的健康状态(也就是在Manager界面看到的健康状态)有Good,Bad,Partially Healthy,Unknown四种状态 ,四种
如何在Hive自定义函数中操作本地文件 问题 在Hive自定义函数中需要操作本地文件,例如读取文件的内容,需要如何操作? 回答 默认情况下,可以在UDF中用文件的相对路径来操作文件,如下示例代码: public String evaluate(String text) { //
创建Hive角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置Hive的角色。Hive角色可设置Hive管理员权限以及Hive数据表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组,不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式: 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部
FUNCTION Hive管理员权限(Hive Admin Privilege) DROP FUNCTION Hive管理员权限(Hive Admin Privilege) ALTER DATABASE Hive管理员权限(Hive Admin Privilege) 父主题: Hive用户权限管理
Manager,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 参数说明 表1 Hive参数说明 参数 参数说明 默认值 hive.auto.convert.join Hive基于输入文件大小将普通join转为mapjoin的开关。 说明: 在使用Hive进行联表查询,且关联的表无
“停用Ranger鉴权”按钮置灰(Hive未启用Ranger鉴权),执行1.f。 集群的“认证模式”为“普通模式”: “启用Ranger鉴权”按钮置灰(Hive已启用Ranger鉴权),执行1.e。 “停用Ranger鉴权”按钮置灰(Hive未启用Ranger鉴权),执行2。 Hive使用Range
如何关闭Hive客户端日志 问题 如何关闭Hive客户端的运行日志? 回答 使用root用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
如何关闭Hive客户端日志 问题 如何关闭Hive客户端的运行日志? 回答 使用root用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
Hive SQL运行变慢阶段如何排查 场景说明 对于一个Hive SQL任务,如果运行时间突然变长,可能有多种原因造成,如HiveServer编译变慢、访问HDFS变慢、访问Yarn变慢或访问元数据变慢。 操作步骤 以下为Hive SQL在哪个阶段执行变慢的排查方法: HiveServer编译变慢
查询Hive表数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法: SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见创建Hive用户自定义函数。
by优化,开启Map端初步聚合,减少Map的输出数据量。 操作步骤 在Hive客户端进行如下设置: set hive.map.aggr=true; 注意事项 Group By数据倾斜 Group By也同样存在数据倾斜的问题,设置hive.groupby.skewindata为true,生成的查询计划会有两个MapReduce
如何删除所有HiveServer中的永久函数 问题 如果需要删除永久函数(Permanent UDF),如何在多个HiveServer之间同步删除? 回答 因为多个HiveServer之间共用一个MetaStore存储数据库,所以MetaStore存储数据库和HiveServer
解决数据倾斜的问题,可通过设置“set hive.optimize.skewjoin=true”并调整“hive.skewjoin.key”的大小。“hive.skewjoin.key”是指Reduce端接收到多少个key即认为数据是倾斜的,并自动分发到多个Reduce。 父主题: Hive性能调优
HiveServer(角色)”,搜索“hive.execution.engine”参数。 针对MRS 3.x之前版本,请登录MRS Manager界面,选择“服务管理 > Hive > 服务配置 > 全部配置 > HiveServer”,搜索“hive.execution.engine”参数。 将“hive
MRS Hive连接ZooKeeper时报错“ConnectionLoss for hiveserver2” 问题现象 使用MRS 1.8集群的Hive 1.2.1通过Hive的JDBC接口连接MRS集群成功,但是使用MRS 1.9.0集群的Hive 2.3.2,通过Hive的JD
Hive服务状态为故障如何处理 可能原因 DBservice服务不可用会导致Hive服务状态为Bad。 HDFS服务不可用会导致Hive服务状态为Bad。 ZooKeeper服务不可用会导致Hive服务状态为Bad。 LDAP/KrbServer服务不可用会导致Hive服务状态为Bad。
议间自由切换。 Hive开源增强特性:支持开启Transform功能 Hive开源社区版本禁止Transform功能。 MRS Hive提供配置开关,Transform功能默认为禁止,与开源社区版本保持一致。 用户可修改配置开关,开启Transform功能,当开启Transform功能时,存在一定的安全风险。
apache.hadoop.hive.serde2.SMS4Rewriter) 将原始数据从普通Hive表导入到Hive列加密表后,在不影响其他业务情况下,建议删除普通Hive表上原始数据,因为保留一张未加密的表存在安全风险。 操作步骤 在创建表时指定相应的加密列和加密算法: create table<[db_name
如何删除所有HiveServer中的永久函数 问题 如果需要删除永久函数(Permanent UDF),如何在多个HiveServer之间同步删除? 回答 因为多个HiveServer之间共用一个MetaStore存储数据库,所以MetaStore存储数据库和HiveServer