内容选择
    内容分类
    学堂 博客 论坛 开发服务 开发工具 直播 视频 用户
    时间
    一周 一个月 三个月
    内容选择
    全部
    内容选择
    内容分类
    • 学堂
    • 博客
    • 论坛
    • 开发服务
    • 开发工具
    • 直播
    • 视频
    • 用户
    时间
    • 一周
    • 一个月
    • 三个月
    重置 确定

    • 【FI】【执行hive sql】代码适配FI 执行hive sql 执行不成功

      【功能模块】 Hive 【操作步骤&问题现象】我们在适配华为FI，其中有一个一个功能是执行hive sql，在本地验证通过，但是上了华为FI以后执行代码报错，希望专家指导【截图信息】【日志信息】（可选，上传日志内容或者附件）

      开发者  >  其他
      作者： A-code-porter
      1160
      3

    • 使用sqoop导入mysql数据到hive中

      --hive-import --hive-database default --create-hive-table -m 1–create-hive-table：当表在Hive不存在时，使用该参数在指定数据库中添加同名表

      开发者  >  博客
      作者： tengyun
      发表时间： 2019-04-19 23:31:17
      5819
      0

    • 数据湖（六）：Hudi与Flink整合

      Hudi与Flink整合 Hudi0.8.0版本与Flink1.12.x之上版本兼容，目前经过测试，Hudi0.8.0版本开始支持Flink，通过Flink写数据到Hudi时，必须开启checkpoint，至少有5次checkpoint后才能看到对应hudi中的数据。 但是应该是有一些问题，目前问题如下：

      开发者  >  博客
      作者： Lansonli
      发表时间： 2022-06-03 15:21:35
      696
      0

    • Flink SQL 1.11 on Zeppelin 平台化实践

      理Flink SQL的元数据，还需要配置与Hive的集成。HIVE_CONF_DIR：Hive配置文件（hive-site.xml）所在的目录；zeppelin.flink.enableHive：设为true以启用Hive Integration；zeppelin.flink.hive

      开发者  >  其他
      作者： 沙漏
      4946
      0

    • Flink SQL 优化

      会清理！要么设置 TTL ，要么使用 Flink SQL 的 interval join 。 使用 Top N 语法进行去重，重复数据的出现一般都位于特定区间内（例如一小时或一天内），过了这段时间之后，对应的 状态就不再需要了。 Flink SQL可以指定空闲状态（即未更新的状态）被保留的最小时间

      开发者  >  博客
      作者： 令照辉
      发表时间： 2023-05-07 23:59:21
      22
      0

    • 在VMware上安装配置MySQL与Hive

      一、Hive概述 （一）Hive的SQL - HQL （二）数据库与数据仓库 （三）Hive的适用场景 二、下载、安装和配置MySQL （一）下载MySQL组件压缩包 （二）将MySQL组件压缩包上传到虚拟机

      开发者  >  博客
      作者： howard2005
      发表时间： 2022-05-01 15:19:55
      480
      0

    • 创建Flink OpenSource作业从Kafka读取数据写入到Elasticsearch

      制台，单击“作业管理 > Flink作业”，在Flink作业管理界面，单击“创建作业”。在创建队列界面，类型选择“Flink OpenSource SQL”，名称填写为：FlinkKafkaES。单击“确定”，跳转到Flink作业编辑界面。在Flink OpenSource SQ

      开发者  >  其他
      作者： yd_228714723
      380
      0

    • loader作业配置,将hive数据全量导入mysql时如何覆盖原有数据

      hive导入mysql时,mysql库该表某字段有唯一约束,在每天全量导入的场景下,如合覆盖mysql表中原有数据?异常如下:,loader 页面上没有可以配置的地方

      开发者  >  其他
      作者： p00557943
      1148
      4

    • 漫画趣解Flink实时数仓

      使用Flink和Kafka、Hive为主要技术栈 实时技术流程。通过实时采集程序同步数据到Kafka消息队列 Flink实时读取Kafka数据，回写到kafka ods贴源层topic Flink实时读取Kafka的ods层数据，进行实时清洗和加工，结果写入到kafka

      开发者  >  博客
      作者： 大数据兵工厂
      发表时间： 2022-01-28 15:17:57
      3063
      0

    • Hive on Spark和Spark sql on Hive有啥区别？

      KryoSerializer; 将编译好的Spark安装包中lib目录下的spark-assembly-*.jar包添加至HIVE_HOME/lib中 （4）启动Hive /opt/hive/bin/hive --service metastore （5）启动Hive命令行窗口 beeline

      开发者  >  博客
      作者： dayu_dls
      发表时间： 2021-05-21 02:29:04
      3563
      0

    • Hive基础02、安装Hive

       点击并拖拽以移动点击并拖拽以移动​编辑 Hive基础02、安装Hive 前置 开启【hdfs】，六个服务都要在。 start-all.sh jps 点击并拖拽以移动 点击并拖拽以移动点击并拖拽以移动​编辑 安装Hive 1、解压【Hive】 tar -zxvf apache-hive-2.1.0-bin

      开发者  >  博客
      作者： 红目香薰
      发表时间： 2022-07-29 02:12:46
      214
      0

    • hive metastore配置kerberos认证

      hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是不需要进行认证就可以访问的。所以本文基于大数据组件中流行的kerberos认证方式，对hive metastore进行认证配置。

      开发者  >  博客
      作者： 从大数据到人工智能
      发表时间： 2022-01-12 12:02:51
      1856
      0

    • 2021年大数据Flink（三）：​​​​​​​Flink安装部署 Local本地模式

      root:root /export/server/flink-1.12.0 5.改名或创建软链接 mv flink-1.12.0 flink ln -s /export/server/flink-1.12.0 /export/server/flink   测试 1.准备文件/root/words

      开发者  >  博客
      作者： Lansonli
      发表时间： 2021-09-28 17:20:46
      1182
      0

    • 大数据Flink进阶（十七）：Apache Flink术语

      就停止。下面我们结合一些代码介绍Flink中的一些重要的名词术语。 一、Application与Job 无论处理批数据还是处理流数据我们都可以使用Flink提供好的Operator（算子）来转换处理数据，一个完整的Flink程序代码叫做一个Flink Application

      开发者  >  博客
      作者： Lansonli
      发表时间： 2023-04-09 22:45:22
      233
      0

    • Flink读写Clickhouse

      ancer实例，该实例会做负载，分发写入、读写任务。 HTTP端口是jdbc接口对应端口，TCP端口是后台客户端命令对应端口。打开样例工程写入CK需要用到ClickHouse_Sink以及WriteIntoCK修改样例代码，写入CK需要修改代码里面的ck链接方式注意：默认的ck集

      开发者  >  其他
      作者： 晋红轻
      309
      1

    • Flink实战（二）FlinkTable API操作

      </property> 将hive-site.xml存放到项目路径当中 启动hive的metastore服务，并创建hive数据库以及hive数据库表 #启动hive的metastore服务以及hiveserver2服务 [hadoop@bigdata03 apache-hive-3.1.2]$

      开发者  >  博客
      作者： Maynor学长
      发表时间： 2022-10-27 07:15:42
      236
      0

    • 大数据组件-Hive部署基于MySQL作为元数据存储

      -uroot -proot mysql>show databases; 再次打开多个窗口，分别启动hive hive 启动hive之后，返回mysql窗口查看数据库数量，会显示增加了metastore数据库 HiveJDBC访问 因为hadoop不允许直接用户

      开发者  >  博客
      作者： 芝士味的椒盐
      发表时间： 2022-04-19 05:12:57
      653
      0

    • 大数据Flink进阶（五）：Flink开发环境准备

      在Flink编程中我们除了可以使用Java语言来进行编写Flink程序外，还可以使用Scala、Python语言来进行编写Flink程序，在后文章中我们将会主要使用Java和Scala来编写Flink程序。下面来准备下Flink开发环境。 一、Flink版本 本套课程中我们采用Flink最新版本1

      开发者  >  博客
      作者： Lansonli
      发表时间： 2023-03-19 03:54:33
      401
      0

    • 如何从MYSQL导入数据到MRS Hive分区表

      huaweicloud.com/blogs/550244df526311e89fc57ca23e93a89f>如何将数据从MYSQL导入到MapReduce Hive分区表</a>

      开发者  >  其他
      作者： lixinlong
      6688
      1

    • 如何从MYSQL导入数据到MRS Hive分区表

      huaweicloud.com/blogs/550244df526311e89fc57ca23e93a89f>如何将数据从MYSQL导入到MapReduce Hive分区表</a>

      开发者  >  其他
      作者： lixinlong
      16692
      1
    总条数： 10000
    点击加载更多