内容选择
    内容分类
    学堂 博客 论坛 开发服务 开发工具 直播 视频 用户
    时间
    一周 一个月 三个月
    内容选择
    全部
    内容选择
    内容分类
    • 学堂
    • 博客
    • 论坛
    • 开发服务
    • 开发工具
    • 直播
    • 视频
    • 用户
    时间
    • 一周
    • 一个月
    • 三个月
    重置 确定

    • 使用flink SQL Client将mysql数据写入到hudi并同步到hive

      测试环境 组件版本 mysql 5.7 hive 3.1.2 flink 1.12.2 hudi 0.9.0 hadoop 3.2.0 首先请确保以下组件正常启动： mysql hivemetastore hiveserver2 hdfs

      开发者  >  博客
      作者： 从大数据到人工智能
      发表时间： 2022-03-27 16:27:02
      845
      0

    • Hive Read & Write Flink

      Flink支持在批处理和流模式下从Hive写入数据。当作为批处理应用程序运行时，Flink将只在作业完成时才将这些记录写入Hive表。批写既支持追加现有表，也支持重写现有表。 # ------ INSERT INTO将追加到表或分区上，保持现有数据不变------ Flink SQL> INSERT

      开发者  >  博客
      作者： 百忍成金的虚竹
      发表时间： 2021-03-28 19:38:13
      1647
      0

    • Flink使用HiveCatalog访问hive的鉴权问题

      "2.3.4"; HiveCatalog hive = new HiveCatalog(name, defaultDatabase, hiveConfDir, version); tableEnv.registerCatalog("myhive", hive); // set

      开发者  >  其他
      作者： Honor_xiaobing
      5662
      1

    • MRS Flink使用SQL-Client对接Hive

      一、准备环境 1.根据产品文档安装Flink客户端； 2.将sql-client-defaults.yaml放入/opt/client/Flink/flink/conf中 3.将jaas.conf放入/opt/client/Flink/flink/conf中 Client {com

      开发者  >  博客
      作者： yangxiao_mrs
      发表时间： 2021-09-29 09:38:40
      1872
      1

    • 使用flink对接hive读写数据问题

      使用hivecalalog在程序中创建了一张hive表，从kafka读数据写到这张表里面，最后验证hive表是否有数据时候报错

      开发者  >  其他
      作者： yd_293693197
      88
      2

    • 华为FusionInsight MRS实战 - 使用Flink SQL-Client连接hive

      # 华为FusionInsight MRS实战 - 使用Flink SQL-Client连接hive ## 介绍 在之前的文章我们了解到如何使用华为Flink Server界面通过Flink SQL将数据写入hive。详细内容请参考如下连接。 [《华为FusionInsight MRS实战

      开发者  >  其他
      作者： 晋红轻
      3188
      0

    • 2021年大数据Flink（三十八）：​​​​​​​Table与SQL ​​​​​​案例五 FlinkSQL整合Hive

      ​​​​​​​集成Hive的基本方式 Flink 与 Hive 的集成主要体现在以下两个方面: 持久化元数据 Flink利用 Hive 的 MetaStore 作为持久化的 Catalog，我们可通过HiveCatalog将不同会话中的 Flink 元数据存储到 Hive Metastore

      开发者  >  博客
      作者： Lansonli
      发表时间： 2021-09-28 14:57:06
      1167
      0

    • 大数据ClickHouse（十九）：Flink 写入 ClickHouse API

      ​Flink 写入 ClickHouse API 可以通过Flink原生JDBC Connector包将Flink结果写入ClickHouse中，Flink在1.11.0版本对其JDBC Connnector进行了重构： 重构之前（1.10.x 及之前版本），包名为 flink-jdbc

      开发者  >  博客
      作者： Lansonli
      发表时间： 2022-09-03 16:29:15
      275
      0

    • Flink综合案例(九)

      Flink综合案例(九) 今日目标 Flink FileSink 落地写入到 HDFS FlinkSQL 整合 Hive数据仓库 订单自动好评综合案例 Flink FileSink 落地写入到 HDFS 常用的文件存储格式 TextFile csv rcFile parquet

      开发者  >  博客
      作者： Maynor学长
      发表时间： 2022-07-24 03:52:53
      305
      0

    • Flink从入门到精通100篇（二十一）-Apache Flink 与 Apache Hive 的集成

      前言 随着 Flink 在流式计算的应用场景逐渐成熟和流行。如果 Flink 能同时把批量计算的应用场景处理好，就能减少用户在使用 Flink 的开发和维护成本，并且能够丰富 Flink 的生态。因为 SQL 是批计算比较常用的工具，所以 Flink 针对于批计算主要以 SQL

      开发者  >  博客
      作者： 格图洛书
      发表时间： 2021-11-18 17:46:04
      931
      0

    • Flink消费kafka topic内容写入DWS

      t/Bigdata/client/Flink/flink/conf”目录下生成“flink.keystore”和“flink.truststore”。 在“flink”目录下新建“test”目录，将“flink.keystore”和“flink.truststore”拷贝到该目录下。cd

      开发者  >  其他
      作者： Ivan-agatha
      449
      2

    • 【DLI】【flink】 dli中自己写flink 是否可以将流数据结果写入obs,自己写flink jar的话有没有哪有参考

      【功能模块】     功能求助【操作步骤&问题现象】   dli中自己写flink 是否可以将流数据结果写入obs,自己写flink jar的话有没有哪有参考 ， 还是说只能使用MRS 才能实现，目前我看文档dli 暂时没有这方面的信息  ，麻烦帮忙解答下 

      开发者  >  其他
      作者： 浴皇大帝
      1751
      4

    • Spark读取Hive写入HBase样例

      介绍如何调试Spark读取Hive写入HBase样例

      开发者  >  视频
      播放量  667

    • flink和mysql

      flink流和mysql交互强烈推荐 https://www.studytime.xin/article/flink-mysql-source-sink.html flink批和mysql交互强烈推荐 https://blog.51cto.com/simplelife/2443000

      开发者  >  博客
      作者： 百忍成金的虚竹
      发表时间： 2021-08-06 16:20:34
      1744
      0

    • 华为FusionInsight MRS实战 - FlinkSQL从kafka写入hive

      参考创建集群连接中的“说明”获取访问Flink WebUI用户的客户端配置文件及用户凭据。 ### 操作步骤 以映射表类型为Kafka对接Hive流程为例。 1. 使用flink_admin访问Flink WebUI，请参考访问Flink WebUI。 2. 新建集群连接，如：flink_hive。 a. 选择“系统管理

      开发者  >  其他
      作者： 晋红轻
      4264
      4

    • 为啥datatool的flink 写入表中会多出[""]

      为啥datatool的flink 写入表中会多出[""]

      开发者  >  其他
      作者： yd_255889942
      53
      4

    • Flink API读取DIS数据，写入openTSDB样例

      使用flink api从DIS通道获取数据，并写入到Cloud Table的openTSDB数据库中。逻辑较为简单，仅供参考。dis2opentsdb.zip

      开发者  >  其他
      作者： 狗叔
      11792
      4

    • Load将Mysql数据导入Hive样例方案

      答：hive导出是按照hive分区数进行划分的。策略如下： 1、如果hive表实际分区数大于界面配置的map数，那么实际map数就是界面上配置的map数 2、如果hive实际分区数小于界面上配置的map数，那实际生效的map数就是实际的分区数具体到你的环境，你的hive表应该是

      开发者  >  博客
      作者： 南派三叔
      发表时间： 2020-07-17 17:07:22
      4322
      0

    • HIVE及MySQL安装

      安装HIVE 编辑hive-env.sh   在HDFS创建数据存储仓库 [root@master conf]# hadoop fs -mkdir -p /user/hive/warehouse   启动hive报错如下：   原因：jar包冲突，删除低版本jar包即可

      开发者  >  博客
      作者： 考过IE励志当攻城狮
      发表时间： 2021-02-28 00:12:27
      2585
      0

    • 创建Flink OpenSource作业从MySQL CDC源表读取数据写入到DWS

      单击“作业管理 > Flink作业”，在Flink作业管理界面，单击“创建作业”。在创建队列界面，类型选择“Flink OpenSource SQL”，名称填写为：FlinkCDCMySQLDWS。单击“确定”，跳转到Flink作业编辑界面。在Flink OpenSource

      开发者  >  其他
      作者： yd_228714723
      501
      1
    总条数： 10000
    点击加载更多