内容选择
    内容分类
    学堂 博客 论坛 开发服务 开发工具 直播 视频 用户
    时间
    一周 一个月 三个月
    内容选择
    全部
    内容选择
    内容分类
    • 学堂
    • 博客
    • 论坛
    • 开发服务
    • 开发工具
    • 直播
    • 视频
    • 用户
    时间
    • 一周
    • 一个月
    • 三个月
    重置 确定

    • Flink和Spark读写avro文件

      <artifactId>flink-avro</artifactId> <version>${flink.version}</version> </dependency> 使用flink sql将数据以avro文件写入本地。首先创建t1表 CREATE

      开发者  >  博客
      作者： 从大数据到人工智能
      发表时间： 2022-03-27 16:39:33
      775
      0

    • Flink动手实践：参加Flink峰会，免费领Flink/Spark书，300本等你来拿

      Flink动手实践：免费领Flink/Spark技术书，300本等你来拿2018年12月20日，在北京国家会议中心, 举办国内首次Flink Forward技术峰会，华为云是本次活动的金牌赞助商，现场华为展台有《Flink动手实践，免费赠书活动》：- 动手实践有效期：2018/12/13日

      开发者  >  其他
      作者： 云集而动
      8026
      6

    • Flink从入门到精通100篇（二十）-Zeppelin SDK在Flink 中的应用（附测试代码）

      吗？如果你不想用 Zeppelin UI，但又想用 Zeppelin 提交和管理大数据作业 （比如 Flink Job）的能力该怎么办？或者是你在 Zeppelin 里写好了代码，想定时调度起来，或者集成到其他系统里，该怎么办？   如果你有这样的诉求，那么 Zeppelin

      开发者  >  博客
      作者： 格图洛书
      发表时间： 2021-11-18 15:22:46
      932
      0

    • Hive外置MySQL创建中文字段表失败案例

         问题现象Hive外置元数据库MySQL，创建表包含中文字段名，报错Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec

      开发者  >  其他
      作者： IisAf1sh
      4419
      0

    • Flink on Yarn三部曲之三：提交Flink任务

      的设置； 现在Flink、Yarn、HDFS都就绪了，接下来实践提交Flink任务到Yarn执行； 两种Flink on YARN模式 实践之前，对Flink on YARN先简单了解一下，如下图所示，Flink on Yarn在使用的时候分为两种模式，Job Mode和Session

      开发者  >  博客
      作者： 程序员欣宸
      发表时间： 2022-03-31 08:57:32
      3814
      0

    • spark将数据写入es

      /*上面的代码片段将upcomingTrip和lastWeekTrip写入到名为iteblog的_index中， type是class。上面都是通过隐式转换才使得rdd拥有saveToEs方法。 elasticsearch-hadoop还提供显式方法来把RDD写入到ElasticSearch中，如下：需要导包

      开发者  >  博客
      作者： 百忍成金的虚竹
      发表时间： 2021-03-25 17:26:48
      2383
      0

    • Hudi源码分析之使用Flink Table/SQL实现Hudi Sources

      在文章Flink Table/SQL自定义Sources和Sinks全解析（附代码）中我们说到在Flink Table/SQL中如何自定义Sources和Sinks，有了上述文章的基础，我们再来理解Flink Table/SQL是如何实现Hudi的数据读取与写入就比较容易了。

      开发者  >  博客
      作者： 从大数据到人工智能
      发表时间： 2022-01-22 08:09:00
      1219
      0

    • 大数据Flink进阶（十五）：Flink On Yarn任务提交

      下面分别介绍这三种模式的任务提交命令和原理。 二、代码及Yarn环境准备 1、准备代码 为了能演示出不同模式的效果，这里我们编写准备Flink代码形成一个Flink Application，该代码中包含有2个job。Flink允许在一个main方法中提交多个job任务，多Job

      开发者  >  博客
      作者： Lansonli
      发表时间： 2023-04-09 22:40:19
      251
      0

    • 【Flink】flink提交任务加yn后提交失败

      【功能模块】在将flink任务提交到集群时，如果指定-yn参数，任务提交失败。【操作步骤&问题现象】1、使用Flink客户端提交flink任务，按照产品文档中提供的参数提交，任务失败。2、去掉-yn参数重新提交，提交成功。【截图信息】1，失败截图2，成功截图MRS版本：3.0.1flink版本：1

      开发者  >  其他
      作者： 空空师傅
      3292
      1

    • Linux下安装hive（2.3.3）详解及HiveSQL运行

      启动mysql服务ln -s /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqlln -s /usr/local/mysql/bin/mysql /usr/bin/mysqlservice mysql re

      开发者  >  博客
      作者： Liuuuu
      发表时间： 2020-11-09 16:40:37
      9717
      0

    • Flink消费kafka消息实战

      (接收http请求时生产一条消息) 192.168.1.102 Flink应用 此机器部署了Flink，运行着我们开发的Flink应用，接收kafka消息做实时处理 注意： 本文的重点是Flink，所以在192.168.1.101这台机器上通过Docker快速搭建了kafka

      开发者  >  博客
      作者： 程序员欣宸
      发表时间： 2022-07-27 04:43:45
      369
      0

    • Flink 增强特性--Stream SQL Join

      apache.org/projects/flink/flink-docs-release-1.7/dev/table/index.html。Stream SQL Join介绍SQL Join用于根据两个或多个表中的列之间的关系，从这些表中查询数据。Flink Steam SQL Join允

      开发者  >  其他
      作者： 萧凡依云
      1236
      0

    • 用ranger对hive metastore 进行授权管理

      作： 首先新建/usr/hive/warehouse文件夹。（并确保hive metastore服务启动用户对该目录有写入权限） mkdir -p /usr/hive/warehouse hive-site.xml文件配置如下：配置mysql作为hive metastore元数据后端存储。

      开发者  >  博客
      作者： 从大数据到人工智能
      发表时间： 2022-01-14 11:21:23
      1403
      0

    • 大数据Flink进阶（十一）：Flink History Server配置使用

      上配置flink-conf.yaml文件，指定Flink完成任务持久化的路径，这里选择HDFS目录作为任务日志持久化保存目录。在node1、node2、node3节点上配置$FLINK_HOME/conf/flink-conf.yaml文件，加入以下配置。 #Flink job运行完成后日志存储目录

      开发者  >  博客
      作者： Lansonli
      发表时间： 2023-04-09 22:26:49
      202
      0

    • 大数据Flink进阶（十四）：Flink On Standalone任务提交

      Flink On Standalone任务提交 Flink On Standalone 即Flink任务运行在Standalone集群中，Standlone集群部署时采用Session模式来构建集群，即：首先构建一个Flink集群，Flink集群资源就固定了，所有提交到该集群的F

      开发者  >  博客
      作者： Lansonli
      发表时间： 2023-04-09 22:36:39
      186
      0

    • 如何将数据从MYSQL导入到MapReduce服务Hive分区表

      数据库名称、表名。”导入前清空数据“选”是“，这样每次导入前，会将之前已经导入到Hive表的数据清空。映射MYSQL表和Hive表字段，Hive表比MYSQL表多三个字段y、ym、ymd，即是Hive的分区字段。由于没有源表字段直接对应，需要配置表达式从源表的StartDate字

      开发者  >  博客
      作者： lixinlong
      发表时间： 2018-05-08 09:58:40
      16043
      1

    • Flink容错机制

      JobMaster 中。 三、总结       Flink 容错机制确保了 Flink 的可靠性和持久性，具体来说它包括作业执行的容错和守护进程的容错两个方面。在作业执行容错方面，Flink 提供 Task 级别的 Failover 策略和 Job 级别的 Restart

      开发者  >  博客
      作者： yangxiao_mrs
      发表时间： 2021-06-25 03:09:19
      2304
      0

    • FusionInsight_HD_8.2.0.1产品，在Flink SQL客户端中select 'hello'报错KeeperErrorCode = ConnectionLoss for /flink_base/flink

      1.在flink sql client中执行sql  直接报错[ERROR] Could not execute SQL statement. Reason: org.apache.flink.shaded.zookeeper3.org.apache.zookeeper.Keep

      开发者  >  其他
      作者： yd_249709838
      207
      7

    • FusionInsight_HD_8.2.0.1产品，在Flink SQL客户端中select 'hello'报错KeeperErrorCode = ConnectionLoss for /flink_base/flink

      setquota -n 1000000 /flink_base/flink Insufficient permission : /flink_base/flink tail -f /home/dmp/app/ficlient/Flink/flink/log/flink-root-sql-client-192-168-0-85

      开发者  >  其他
      作者： yd_249709838
      330
      2

    • Hive 和 Hudi

      中，支持多种数据格式，如文本文件、Parquet、ORC 等。Hive 的查询执行流程包括查询解析、编译、优化和执行，通过优化器和执行引擎的协作，实现了对大规模数据的高效处理。Hive 适合读多写少的场景，不支持对数据的改写和删除操作 。Hive 的本质是将 HiveQL 转换成 MapReduce 任务来执行，从而减少编写

      开发者  >  其他
      作者： 黄生
      142
      5
    总条数： 10000
    点击加载更多