内容选择
全部
内容选择
内容分类
  • 学堂
  • 博客
  • 论坛
  • 开发服务
  • 开发工具
  • 直播
  • 视频
  • 用户
时间
  • 一周
  • 一个月
  • 三个月
  • Hive on tez中map任务数的计算

    Hive on tez任务计算map任务是在AM中计算,而不是在hiveserver中计算,有别于hive on mr任务。 hive on tez中计算map任务个数主要分为两个步骤:一是计算splits个数;二是将splits分组,分组数即为map数量 1.​ 先通过HiveInputFormat

    作者: lihz
    发表时间: 2021-09-30 03:05:50
    2181
    0
  • HIVE常用函数整理

    70-01-01 00:00:00 UTC到指定时间的秒数)到当前时区的时间格式2.获取当前UNIX时间戳函数:unix_timestamp语法: unix_timestamp()返回值: bigint说明:获得当前时区的UNIX时间戳3.日期转UNIX时间戳函数:unix_timestamp语法:

    作者: 敲代码的王小明
    发表时间: 2018-12-21 11:28:36
    4413
    0
  • Linux退出Hive命令

    Linux退出Hive命令 在使用Hive进行数据查询和操作时,有时候我们需要退出Hive命令行界面。本文将介绍如何在Linux系统中退出Hive命令行。 步骤一:进入Hive命令行 首先,在Linux终端中,通过以下命令启动Hive并进入Hive命令行界面: bashCopy

    作者: 皮牙子抓饭
    发表时间: 2024-08-17 21:59:53
    97
    0
  • Hive快速入门系列(18) | Hive性能调优 [五] 严格模式

      此次博主为大家带来的是Hive性能调优中的严格模式。 Hive提供了一个严格模式,可以防止用户执行那些可能意想不到的不好的影响的查询。   通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mo

    作者: 不温卜火
    发表时间: 2020-12-02 14:23:10
    1848
    0
  • hive建表4

    任务1:相似度检测 查询result表中,碱基对(aliLen)长度介于29800-29900之间的个数,截图并保存为3-1-alilen。查询result表中,按照匹配程度(identity)进行降序排序,显示sav,identity,bitScore这三个字段的前十行数据,截图并保存为3-2-bitscore。

    作者: 没头脑
    发表时间: 2022-06-18 00:22:35
    224
    0
  • pyspark读写Hive案例

    --principal developuser test_hive.py执行完毕后通过beeline查看hive中表读取Hive基于上面创建的hive表,执行查询sql打印如下

    作者: suwei
    1255
    1
  • 执行Hive查询时出现OOM

    执行Hive查询时出现OOM 执行Hive查询时出现OOM 写在前面 报错:Error: Java heap space 实验场景 日志信息 StckOverFlow的回答 写在前面 Hive执行引擎:Hive on MR 报错:Error: Java heap space

    作者: 7&
    发表时间: 2023-01-17 09:48:28
    115
    0
  • hive udf复用问题

    hive里创建udf后,如何复用?例如使用用户usr_a在数据库database_a创建udf1后,如何授权给usr_b用户使用。是否有grant select on function database_a.udf1 to user usr_b;类似的授权语句。请专家予以解答,多谢。

    作者: yd_267301427
    105
    2
  • Hive快速入门系列(9) | Hive表中数据的加载与导出

    /export/servers/exporthive/000000_0 /export/servers/exporthive/local.txt; 1 2.3 hive shell 命令导出 基本语法:(hive -f/-e 执行语句或者脚本 > file) bin/hive -e "select

    作者: 不温卜火
    发表时间: 2020-12-02 16:13:29
    2346
    0
  • Hive msck报错案例

    (state=08S01,code=1)。2.   问题定位查看HiveServer日志/var/log/Bigdata/hive/hiveserver/hive.log,发现目录名不符合分区格式:3.   解决方案(1)删除错误的文件或目录。(2)set hive.msck.path.validati

    作者: IisAf1sh
    4244
    0
  • 数据湖的hive跟manas的hive数据对接用什么

    我们项目组想把上游数据湖的hive数据接入到manas平台的hive里,不知用什么工具或平台对接,请高人指点。

    作者: 江川健一郎
    2545
    3
  • Hive实现离线计算(HQL)

    点击并拖拽以移动 在hive cli命令窗口中查看hdfs文件系统 在hive cli命令窗口中查看本地文件系统 查看hive中输入的所有的历史命令 cat /home/当前用户/.hivehistory 点击并拖拽以移动 Hive数据仓库位置配置: 配

    作者: 芝士味的椒盐
    发表时间: 2022-04-23 02:43:11
    4765
    0
  • Hive SQL编译原理(上)

    ava 4 Hive中解析过程 4.1 Hive的antlr语法文件 Hive工程的pom文件设置了使用antlr插件编译HiveLexer.g、HiveParser.g、HintParser.g文件 HiveLexer.g是Hive的词法文件,其中定义了Hive所有的关键字、

    作者: living
    发表时间: 2021-07-30 09:07:00
    2819
    0
  • 伙伴使用MRS HIVE连接时失败

    伙伴使用驱动连接MRS HIVE时连接失败,原因目前定位出是因为驱动生成的服务端pricipal在kdc数据库中不存在,需要根据节点名重新生成principal,求指导

    作者: yd_253154036
    742
    3
  • 第1章Hive入门

    文章目录 第1章Hive入门1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点 1.3 Hive架构原理1.4 Hive和数据库比较 第1章Hive入门 1.1 什么是Hive Hive:由Facebook开源用于解决

    作者: 孙中明
    发表时间: 2022-01-22 15:09:38
    683
    0
  • Hive源码学习【1】——Windows WSL Hive3.x安装与调试(1)

    export PATH=$HIVE_HOME/bin:$PATHHive配置文件配置    进入hive的conf目录,复制生成hive-site.xml文件cp hive-default.xml.template hive-site.xml    编辑hive-site.xml文件

    作者: 想要一只猫
    发表时间: 2020-09-25 23:06:09
    6946
    0
  • 大数据技术学习——Hive

    p; Hive参数 参数优先级:配置文件<命令行参数<参数声明 配置文件方式:对本机启动的所有 Hive 进程都有效。 eg:用户自定义(hive-site.xml)会覆盖默认配置文件(hive-default.xml)。 命令行参数方式:仅对当前启动的Hive客户端窗口有效。

    作者: Eric Shi
    发表时间: 2023-02-25 09:58:40
    1642
    0
  • Hive 插入大量数据

    Hive 插入大量数据 简介 在大数据领域中,Hive是一个常用的数据仓库工具,可以方便地对大规模数据进行管理和分析。当需要将大量数据插入到Hive表中时,我们需要考虑一些优化策略,以提高插入性能和效率。 1. 使用分区表 在向Hive表中插入大量数据时,可以考虑使用分区表。通

    作者: 皮牙子抓饭
    发表时间: 2024-08-18 22:51:06
    102
    0
  • hive 解析 json 数据

    文章目录 hive 解析 json 数据1. 取出单个字段2 .同时取多个字段 hive 解析 json 数据 有这么两个函数:get_json_object()和json_tuple()

    作者: 孙中明
    发表时间: 2022-01-22 14:43:20
    662
    0
  • HIVE安装过程

    bash_profile参数:export HIVE_HOME=/home/hadoop/hive110export PATH=$HIVE_HOME/bin:$PATHexport HIVE_CONF_DIR=$HIVE_HOME/confexport HIVE_LIB=$HIVE_HOME/lib2、hive110/conf/hive-site

    作者: shs
    发表时间: 2018-12-17 11:31:34
    8065
    0