内容选择
    内容分类
    学堂 博客 论坛 开发服务 开发工具 直播 视频 用户
    时间
    一周 一个月 三个月
    内容选择
    全部
    内容选择
    内容分类
    • 学堂
    • 博客
    • 论坛
    • 开发服务
    • 开发工具
    • 直播
    • 视频
    • 用户
    时间
    • 一周
    • 一个月
    • 三个月
    重置 确定

    • Flink 操作 kafka （一）

      月更文挑战」的第30天，点击查看活动详情 Flink 操作 kafka https://zhuanlan.zhihu.com/p/92289771 flink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafka 数据时，就可以通过

      开发者  >  博客
      作者： 武师叔
      发表时间： 2022-09-29 08:36:57
      212
      0

    • 万字直通面试：Flink双流JOIN

      实时处理机制: Flink天生即实时计算引擎 低延迟: Flink内存计算秒级延迟 强关联性: Flink状态一致性和join类算子 不由感叹, 这个Flink果然强啊~ 保持好奇心，我们去瞅瞅Flink双流join的真正奥义！！ 3.2 JOIN实现机制 Flink双流JO

      开发者  >  博客
      作者： 大数据兵工厂
      发表时间： 2022-01-04 14:37:14
      4325
      0

    • Flink容错机制(五)

      Flink容错机制(五) 今日目标 Flink容错机制之Checkpoint Flink容错机制之重启策略 存储介质StateBackend Checkpoint 配置方式 状态恢复和重启策略 Savepoint手动重启并恢复 并行度设置 Flink状态管理 状态就是基于

      开发者  >  博客
      作者： Maynor学长
      发表时间： 2022-07-24 03:45:39
      267
      0

    • Flink源码分析（一）：flink run 命令背后的逻辑

      脚本中会导入一些环变量：FLINK_CONF_DIR：flink 的配置信息地址。FLINK_BIN_DIR：flink 的bin目录地址。FLINK_PLUGINS_DIR：flink 的插件地址。$JAVA：java 命令的地址。这些环境变量会被 ./flink、./yarn-session

      开发者  >  博客
      作者： flink爱好者
      发表时间： 2020-06-13 16:22:13
      6658
      0

    • Flink POC用例

      /opt/client/Flink/flink/confvi flink-conf.yaml修改参数如下：security.ssl.keystore: /opt/client/Flink/flink/conf//flink.keystore，修改flink.keystore位置，必须为绝对路径。security

      开发者  >  其他
      作者： 萧凡依云
      2549
      0

    • 谈谈flink内存管理

         flink社区已走向流批一体的发展，后继将更多的关注与流批一体的引擎实现及结合存储层面的实现。flink服务请使用华为云 EI DLI-FLINK serverless服务。 参考  [1]: https://ci.apache.org/projects/flink/flink-docs-stable/

      开发者  >  博客
      作者： 米兰的小铁匠
      发表时间： 2020-12-14 09:14:06
      17297
      0

    • Ambari部署Hive

      创建Hive所需的MySQL资源 Hive的部署过程跟  HBase基本一样，不过 Hive的元数据一般选择存放在MySQL，所以我们要在 MySQL里单独为  Hive创建用户和库以便于管理： # 在MySQL 所在服务器 ambari-01 mysql

      开发者  >  博客
      作者： 李子捌
      发表时间： 2021-11-24 12:05:18
      2202
      0

    • spark将数据写入es

      /*上面的代码片段将upcomingTrip和lastWeekTrip写入到名为iteblog的_index中， type是class。上面都是通过隐式转换才使得rdd拥有saveToEs方法。 elasticsearch-hadoop还提供显式方法来把RDD写入到ElasticSearch中，如下：需要导包

      开发者  >  博客
      作者： 百忍成金的虚竹
      发表时间： 2021-03-25 17:26:48
      2383
      0

    • 【flink产品】【flink功能】flink跨集群访问开启Kerberos认证的kafka

      【功能模块】FI集群的flink 是开启的Kerberos认证 再flink-conf.yml中配置过的。现在需要用flink消费另外一个集群中开启Kerberos认证的kafka  拿到了kafka集群的的认证文件 krb5.conf jaas.conf user.keytab

      开发者  >  其他
      作者： sou1yu
      4443
      3

    • 【Flink产品】【Flink sink ES】flink 连接器 sink数据到ES

      【功能模块】Flink DataStream 数据sink到带有用户名密码的验证的ES集群中报错。【操作步骤&问题现象】1、使用开源的flink-connector-elasticsearch6_2.11 的jar包2、SunCertPathBuilderException: unable

      开发者  >  其他
      作者： sou1yu
      5843
      9

    • Flink资源调优

      默认为none。 如果size没指定，则等于Flink内存 * fraction 。 查看TaskManager内存图，如下所示，如果内存长时间占用比例过高就需要调整Flink作业内存了。 如果未使用RocksDB作为状态后端，则可以将管理内存调整为0. 单个TaskManager内存大小为2-8G之间。

      开发者  >  博客
      作者： 令照辉
      发表时间： 2023-05-10 21:23:38
      8
      0

    • Hive MetaStore元数据库分析

      元数据包含用Hive创建的database、table、表的字段等元信息。元数据存储在关系型数据库中。如hive内置的Derby、第三方如MySQL等。Metastore即元数据服务，作用是：客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据

      开发者  >  博客
      作者： 云中台
      发表时间： 2020-10-31 18:16:33
      10207
      0

    • 《Flink原理、实战与性能优化》 —3 Flink编程模型

      第3章Flink编程模型本章将重点介绍Flink编程模型中的基本概念和编写Flink应用程序所遵循的基本模式。其中，包括Flink支持的数据集类型，有界数据集和无界数据集的区别，以及有界数据集和无界数据集之间的转换。同时针对无界和有界数据集的处理，将介绍Flink分别提供对应的开发接口DataStream

      开发者  >  博客
      作者： 华章计算机
      发表时间： 2020-02-17 14:11:24
      4168
      0

    • 《大数据技术丛书 Flink原理、实战与性能优化》—2.5　Flink源码编译

      2.5　Flink源码编译 对于想深入了解Flink源码结构和实现原理的读者，可以按照本节的内容进行Flink源码编译环境的搭建，完成Flink源码的编译，具体操作步骤如下所示。Flink源码可以从官方 Git Repository上通过git clone命令下载：git clone

      开发者  >  博客
      作者： 华章计算机
      发表时间： 2019-06-14 16:59:47
      5437
      0

    • Apache Flink学习研究

      故障的情况下，启用了检查点的Flink程序在恢复后，将从最后一个完成的检查点开始恢复处理，确保Flink在应用程序中保持精确的一次状态语义。检查点机制暴露了应用程序代码的钩子，将外部系统也纳入检查点机制中（比如与数据库系统打开和提交事务）。Flink还包括一种叫做保存点的机制，这

      开发者  >  博客
      作者： Jet Ding
      发表时间： 2020-09-29 14:57:50
      3433
      0

    • 《大数据技术丛书Flink原理、实战与性能优化》—2.5　Flink源码编译

      2.5　Flink源码编译对于想深入了解Flink源码结构和实现原理的读者，可以按照本节的内容进行Flink源码编译环境的搭建，完成Flink源码的编译，具体操作步骤如下所示。Flink源码可以从官方 Git Repository上通过git clone命令下载：git clone

      开发者  >  博客
      作者： 华章计算机
      发表时间： 2019-06-01 22:45:13
      5675
      0

    • 2021年大数据Spark（三十一）：Spark On Hive

      Spark On Hive spark-sql中集成Hive Spark代码中集成Hive Spark On Hive Spark SQL模块从发展来说，从Apache Hive框架而来，发展历程：Hive（MapReduce）-> Shark (Hive on Spark)

      开发者  >  博客
      作者： Lansonli
      发表时间： 2021-09-27 15:25:51
      1121
      0

    • 《Flink原理、实战与性能优化》 —1 Apache Flink介绍

      第1章Apache Flink介绍本章对Apache Flink从多个方面进行介绍，让读者对Flink这项分布式处理技术能够有初步的了解。1.1节主要介绍了Flink的由来及其发展历史，帮助读者从历史的角度了解Flink这项技术发展的过程。1.2节重点介绍了Flink能够支持的各种实

      开发者  >  博客
      作者： 华章计算机
      发表时间： 2020-02-17 12:51:10
      5018
      0

    • Flink操作流程

      theme: condensed-night-purple Flink操作流程 携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 public class StreamingJob { public static void

      开发者  >  博客
      作者： 武师叔
      发表时间： 2022-09-29 08:37:29
      123
      0

    • Hive概述

      <align=left><b>Hive的应用场景</b></align><align=left> Hive通常是构建于Hadoop之上，Hadoop在作业提交和调度的时候都有较高的延迟，因此Hive并不适合那些需要低延迟的应用。并且Hive不提供基于行级的数据更新操作，所以也

      开发者  >  其他
      作者： 雨化微尘
      20913
      5
    总条数： 10000
    点击加载更多