内容选择
    内容分类
    学堂 博客 论坛 开发服务 开发工具 直播 视频 用户
    时间
    一周 一个月 三个月
    内容选择
    全部
    内容选择
    内容分类
    • 学堂
    • 博客
    • 论坛
    • 开发服务
    • 开发工具
    • 直播
    • 视频
    • 用户
    时间
    • 一周
    • 一个月
    • 三个月
    重置 确定

    • Flink 作业提交流程

      作业提交过程中，可能在资源框架上启动Flink集群。Flink 就绪之后，进入作业提交阶段，在Flink客户端进行StreamGraph、JobGraph的转换，提交 JobGraph 到 Flink 集群，然后 Flink 集群负责将 JobGraph 转换为 ExecutionGraph，之后进入调度执行阶段。

      开发者  >  博客
      作者： 程序员学长
      发表时间： 2022-07-12 02:12:40
      559
      0

    • 《Flink原理、实战与性能优化》 —2.2　Flink项目模板

      ob.java和Streaming.java两个文件，分别对应Flink批量接口DataSet的实例代码和流式接口DataStream的实例代码。在创建好上述项目后，建议用户将项目导入到IDE进行后续开发，Flink官网推荐使用的是Intellij IDEA或者Eclipse进行

      开发者  >  博客
      作者： 华章计算机
      发表时间： 2020-02-17 13:12:09
      3112
      0

    • Hive基础(二)-hive的基本概念

      安装:默认使用derby，我们要使用mysql 客户端的连接: 1 bin/hive 2 beeline 3bin/hive -e 执行sql -f执行sql文件 Hive和数据库比较 Hive 和数据库除了拥有类似的查询语言，再无类似之处。 1）数据存储位置 1、Hive 存储在 HDFS

      开发者  >  博客
      作者： 百忍成金的虚竹
      发表时间： 2021-03-25 15:53:27
      1787
      0

    • Flink容错机制(五)

      Flink容错机制(五) 今日目标 Flink容错机制之Checkpoint Flink容错机制之重启策略 存储介质StateBackend Checkpoint 配置方式 状态恢复和重启策略 Savepoint手动重启并恢复 并行度设置 Flink状态管理 状态就是基于

      开发者  >  博客
      作者： Maynor学长
      发表时间： 2022-07-24 03:45:39
      267
      0

    • 大数据Flink进阶（十二）：Flink本地模式开启WebUI

      ​Flink本地模式开启WebUI 在工作中我们一般使用IntelliJ IDEA开发工具进行代码开发，为了能方便快速的调试Flink和了解Flink程序的运行情况，我们希望本地开发工具中运行Flink时能查看到WebUI，这就可以在编写Flink程序时开启本地WebUI。 一、在Flink

      开发者  >  博客
      作者： Lansonli
      发表时间： 2023-04-09 22:28:13
      178
      0

    • 将 JSON 写入文件

      字典的内容作为 JSON 数据写入 json_file。json.dump() 函数有两个参数：要序列化的 Python 对象（在本例中为字典）和应写入 JSON 数据的文件对象。在此代码中，将 person_dict 作为 JSON 写入 json_file 指定的文件中。 输出：您应该能够看到创建的名为

      开发者  >  博客
      作者： Q神
      发表时间： 2023-06-16 21:53:10
      2
      0

    • Hive概述

      1.     Hive介绍Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL的查询功能。Hive基本原理是将HQL语句自动转换成可以在计算引擎上执行的任务。Hive 在加载数据过程中不会对数据进行任何的修改，只是将数据移动到HD

      开发者  >  其他
      作者： AI资讯
      1776
      0

    • Flink POC用例

      /opt/client/Flink/flink/confvi flink-conf.yaml修改参数如下：security.ssl.keystore: /opt/client/Flink/flink/conf//flink.keystore，修改flink.keystore位置，必须为绝对路径。security

      开发者  >  其他
      作者： 萧凡依云
      2549
      0

    • 基于Flink CDC打通数据实时入湖

      湖等均使用Flink SQL完成。 1，数据入湖环境准备 以Flink SQL CDC方式将实时数据导入数据湖的环境准备非常简单直观，因为Flink支持流批一体功能，所以实时导入数据湖的数据，也可以使用Flink SQL离线或实时进行查询。如下测试是使用Flink提供的sql-client完成的：

      开发者  >  博客
      作者： 数据社
      发表时间： 2022-09-24 20:18:51
      317
      0

    • 对比mysql和hive：mysqlzhong ,分组求不同组的前几条记录

      123456789101112131415161718192021 3、需求如下 求出不同爱好中，年龄最大的两个人(爱好，年龄，姓名) 4、实现代码 select a.* from mian61 a where (select count(*) from mian61 b

      开发者  >  博客
      作者： yd_226342373
      发表时间： 2021-05-19 18:37:10
      1253
      0

    • Flink实战（六）FlinkSQL当中的函数

      下关于内置函数以及自定义函数 6.1、内置函数概览 Flink Table API/SQL提供了⼤量的内置函数，⼤家⾃⼰⽤到了当字典查即可： https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/

      开发者  >  博客
      作者： Maynor学长
      发表时间： 2022-10-27 07:25:57
      238
      0

    • flink问题集锦

      version: 2.11.12 org.apache.flink:flink-runtime_2.11:1.13.2 requires scala version: 2.11.12 org.apache.flink:flink-scala_2.11:1.13.2 requires

      开发者  >  博客
      作者： 橙子园
      发表时间： 2022-05-25 15:02:06
      831
      0

    • 《Flink原理、实战与性能优化》 —3.2　Flink编程接口

      3.2　Flink编程接口如图3-2所示，Flink根据数据集类型的不同将核心数据处理接口分为两大类，一类是支持批计算的接口DataSet API，另外一类是支持流计算的接口DataStream API。同时Flink将数据处理接口抽象成四层，由上向下分别为SQL API、Table

      开发者  >  博客
      作者： 华章计算机
      发表时间： 2020-02-17 14:14:00
      3033
      0

    • Hive基础06、Hive引入数组

      ​  点击并拖拽以移动点击并拖拽以移动​编辑 Hive基础06、Hive引入数组 目录 Hive基础05、Hive引入数组 1、建表语句 2、创建【arrayInfo.txt】 3、上传到【/soft/temp/】 4、引入数组操作 1、建表语句 英文关键字解析：

      开发者  >  博客
      作者： 红目香薰
      发表时间： 2022-07-29 02:14:47
      191
      0

    • 2021年大数据Spark（三十一）：Spark On Hive

      Spark On Hive spark-sql中集成Hive Spark代码中集成Hive Spark On Hive Spark SQL模块从发展来说，从Apache Hive框架而来，发展历程：Hive（MapReduce）-> Shark (Hive on Spark)

      开发者  >  博客
      作者： Lansonli
      发表时间： 2021-09-27 15:25:51
      1121
      0

    • Ambari部署Hive

      创建Hive所需的MySQL资源 Hive的部署过程跟  HBase基本一样，不过 Hive的元数据一般选择存放在MySQL，所以我们要在 MySQL里单独为  Hive创建用户和库以便于管理： # 在MySQL 所在服务器 ambari-01 mysql

      开发者  >  博客
      作者： 李子捌
      发表时间： 2021-11-24 12:05:18
      2202
      0

    • 2021年大数据Flink（十七）：Flink四大基石

      目录 Flink四大基石 Checkpoint State Time Window Flink四大基石 Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。

      开发者  >  博客
      作者： Lansonli
      发表时间： 2021-09-28 14:56:29
      1096
      0

    • 万字直通面试：Flink双流JOIN

      实时处理机制: Flink天生即实时计算引擎 低延迟: Flink内存计算秒级延迟 强关联性: Flink状态一致性和join类算子 不由感叹, 这个Flink果然强啊~ 保持好奇心，我们去瞅瞅Flink双流join的真正奥义！！ 3.2 JOIN实现机制 Flink双流JO

      开发者  >  博客
      作者： 大数据兵工厂
      发表时间： 2022-01-04 14:37:14
      4325
      0

    • Apache Flink学习研究

      Artisans)是一家由Apache Flink最初的创建者创建的公司，并雇佣了许多目前Apache Flink的提交者。2      Flink的技术特点是什么？Apache Flink的核心是一个用Java和Scala编写的分布式流式数据流引擎，Flink以数据并行和流水线的方式执行任

      开发者  >  博客
      作者： Jet Ding
      发表时间： 2020-09-29 14:57:50
      3433
      0

    • Flink学习--知识梳理

      window: flink提供了更多丰富的window,基于时间，基于数量，session window,同样⽀持滚动和滑动窗⼝的计算。 1.6 Flink的流、批处理 Flink将批处理视作一种特殊的流处理，Flink中的所有计算都是流式计算。 Flink分别提供了面向流式处理的接口（DataStream

      开发者  >  博客
      作者： yd_284485090
      发表时间： 2023-10-29 15:23:31
      25
      0
    总条数： 10000
    点击加载更多