内容选择
    内容分类
    学堂 博客 论坛 开发服务 开发工具 直播 视频 用户
    时间
    一周 一个月 三个月
    内容选择
    全部
    内容选择
    内容分类
    • 学堂
    • 博客
    • 论坛
    • 开发服务
    • 开发工具
    • 直播
    • 视频
    • 用户
    时间
    • 一周
    • 一个月
    • 三个月
    重置 确定

    • Hive数据倾斜

      设置　hive.map.aggr=true(默认为true),但如果每条数据基本不同的情况下，聚合也没什么意义，这里也可以通过　hive.groupby.mapaggr.checkinterval 设置map端进行聚合操作的数量，默认100000。 还可以把 hive.groupby

      开发者  >  博客
      作者： kala_1314
      发表时间： 2019-01-18 14:20:07
      3587
      0

    • hive server客户端连接泄漏导致hs重启

           限制单个IP到HiveServer连接数：hiveserver支持限制每个客户端ip最大的连接数，以及每个用户在每个客户端ip的最大的连接数，超过配置值后抛出异常。 hive.server2.limit.connections.per

      开发者  >  博客
      作者： Nature_L
      发表时间： 2021-07-13 03:05:54
      2239
      0

    • Hive基础09、HQL查询语句

      点击并拖拽以移动点击并拖拽以移动​编辑 Hive基础09、HQL查询语句 目录 Hive基础08、HQL查询语句 1、基础查询语句 2、数组查询 3、map 4、struct 5、聚合查询语句 HQL查询内容全： 第一部分： Hive查询语句 Hive函数 1. 聚合函数 2. 关系运算

      开发者  >  博客
      作者： 红目香薰
      发表时间： 2022-07-29 02:17:52
      251
      0

    • hive建表3

      在Hive查询期间，将前面的查询结果保存为结果表，在结果表中查询数据 create table result as select b.item,b.total,case when total<800 then 'cold' when total>=800 and total

      开发者  >  博客
      作者： 没头脑
      发表时间： 2022-06-18 00:21:18
      258
      0

    • MRS Hive 调优参考

      12.5 Hive12.5.1 建立表分区操作场景Hive在做Select查询时，一般会扫描整个表内容，会消耗较多时间去扫描不关注的数据。此时，可根据业务需求及其查询维度，建立合理的表分区，从而提高查询效率。操作步骤1.      使用PuTTY工具，以root用户登录已安装Hive客户端的节点。2

      开发者  >  其他
      作者： kevin_chen
      2607
      0

    • DeleteArchiveRule Delete the specified archive rule - API

      该API属于IAMAccessAnalyzer服务，描述: Delete the specified archive rule.接口URL: "/v5/analyzers/{analyzer_id}/archive-rules/{archive_rule_id}"

      开发者 >  开发工具

    • pyspark读写Hive案例

      --principal developuser test_hive.py执行完毕后通过beeline查看hive中表读取Hive基于上面创建的hive表，执行查询sql打印如下

      开发者  >  其他
      作者： suwei
      1261
      1

    • hive udf复用问题

      在hive里创建udf后，如何复用？例如使用用户usr_a在数据库database_a创建udf1后，如何授权给usr_b用户使用。是否有grant select on function database_a.udf1 to user usr_b;类似的授权语句。请专家予以解答，多谢。

      开发者  >  其他
      作者： yd_267301427
      119
      2

    • Hive msck报错案例

      (state=08S01,code=1)。2.   问题定位查看HiveServer日志/var/log/Bigdata/hive/hiveserver/hive.log，发现目录名不符合分区格式：3.   解决方案（1）删除错误的文件或目录。（2）set hive.msck.path.validati

      开发者  >  其他
      作者： IisAf1sh
      4249
      0

    • Hive快速入门系列(11) | Hive的自定义函数

      info+"__, I love Hive! __ "; } } 12345678910111213141516171819 2. 将jar包添加到hive hive (myhive)> add jar /opt/module/hive/lib/hive_java.jar; 12 3

      开发者  >  博客
      作者： 不温卜火
      发表时间： 2020-12-03 00:06:14
      2813
      0

    • 【详解】HiveThrift服务

      Thrift服务（也称为HiveServer2）是一个允许客户端通过网络连接到Hive服务器的服务，支持多种编程语言。下面我将提供一个使用Python通过Hive Thrift服务连接到Hive并执行查询的示例。 环境准备 安装依赖：首先需要安装​​pyhive​​库，这是一个用于连接Hive的Python库。

      开发者  >  博客
      作者： 皮牙子抓饭
      发表时间： 2025-01-22 21:29:34
      101
      0

    • 数据湖的hive跟manas的hive数据对接用什么

      我们项目组想把上游数据湖的hive数据接入到manas平台的hive里，不知用什么工具或平台对接，请高人指点。

      开发者  >  其他
      作者： 江川健一郎
      2546
      3

    • 【mrs产品】【hive功能】springboot启动可以登录zk，hive连接执行语句报错

      hadoop.hive.conf.HiveConf.initialize(5430) - HiveConf of name hive.s3a.locals3.jceks does not exist[Thread-44] INFO  org.apache.hadoop.hive.conf

      开发者  >  其他
      作者： yd_214181370
      698
      1

    • Hive 元数据更新

      Hive 元数据更新 在大数据领域中，Hive 是一个常用的数据仓库工具，用于管理和查询大规模数据集。在使用 Hive 进行数据分析和处理时，经常需要更新元数据以确保数据的准确性和一致性。本文将介绍如何在 Hive 中进行元数据更新的相关操作。 什么是 Hive 元数据 在 Hive

      开发者  >  博客
      作者： 皮牙子抓饭
      发表时间： 2024-08-15 20:56:36
      74
      0

    • 【详解】Hive权限管理

      以下是一个简化的示例，展示了如何在Hive中创建角色、添加用户到角色以及授予权限。 首先，确保你已经安装了Hive，并且有适当的Hive服务器正在运行。在这个示例中，我们将使用Hive命令行工具​​hive​​。 # 启动Hive命令行工具 hive 在Hive命令行中，你可以执行以下命令来管理角色、用户和权限。

      开发者  >  博客
      作者： 皮牙子抓饭
      发表时间： 2024-12-11 10:41:47
      318
      0

    • Hive存储格式简单介绍

      t无法分割和合并查询的效率最低,但加载数据的速度最高sequencefile行存储存储空间的消耗最大压缩的文件可以分割和合并查询效率高，但需要通过text文件转化来加载orc列存储 1.节省存储空间 2.查询效率高 3.压缩快parquet列存储压缩效率高 查询效率高支持Impa

      开发者  >  博客
      作者： kala_1314
      发表时间： 2019-01-18 16:37:43
      3582
      0

    • Spark---Spark on Hive

      点击并拖拽以移动 2）、启动Hive的metastore服务 hive --service metastore 点击并拖拽以移动 3）、启动zookeeper集群，启动HDFS集群 4）、启动SparkShell读取Hive中的表总数，对比hive中查询同一表查询总数测试时间 ./spark-shell

      开发者  >  博客
      作者： 前进的蜗牛
      发表时间： 2023-11-29 10:38:26
      11
      0

    • 2021年大数据Spark（三十一）：Spark On Hive

      Spark On Hive spark-sql中集成Hive Spark代码中集成Hive Spark On Hive Spark SQL模块从发展来说，从Apache Hive框架而来，发展历程：Hive（MapReduce）-> Shark (Hive on Spark)

      开发者  >  博客
      作者： Lansonli
      发表时间： 2021-09-27 15:25:51
      1121
      0

    • MRS Hive列统计信息

      Hive列统计信息 Hive的列统计信息记录了Hive表字段的元信息，根据字段类型的不同，统计的元信息也是稍有差异的。本文讲述两种常用的字段类型，int和string。int类型有4个统计信息，分别是：min、max、num_nulls、distinct_count；string类型也有4个统计信息，分别是：

      开发者  >  博客
      作者： fzhan
      发表时间： 2021-12-28 11:44:05
      1051
      0

    • 伙伴使用MRS HIVE连接时失败

      伙伴使用驱动连接MRS HIVE时连接失败，原因目前定位出是因为驱动生成的服务端pricipal在kdc数据库中不存在，需要根据节点名重新生成principal，求指导

      开发者  >  其他
      作者： yd_253154036
      745
      3
    总条数： 10000
    点击加载更多