已找到以下 10000 条记录

    • 【Flink】flink提交任务加yn后提交失败

      【功能模块】在将flink任务提交到集群时，如果指定-yn参数，任务提交失败。【操作步骤&问题现象】1、使用Flink客户端提交flink任务，按照产品文档中提供的参数提交，任务失败。2、去掉-yn参数重新提交，提交成功。【截图信息】1，失败截图2，成功截图MRS版本：3.0.1flink版本：1

      开发者  >  其他
      作者： 空空师傅
      3288
      1

    • Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 - 数据湖探索 DLI

      Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 问题现象 使用Flink作业输出流写入数据到了OBS中，通过该OBS文件路径创建的DLI表进行数据查询时，无法查询到数据。 例如，使用如下Flink结果表将数据写入到OBS的“obs://obs-sink/car_infos”路径下。

      帮助中心 > 数据湖探索 DLI > 常见问题 > Flink作业类 > Flink SQL作业类

    • 《Flink原理、实战与性能优化》 —3 Flink编程模型

      第3章Flink编程模型本章将重点介绍Flink编程模型中的基本概念和编写Flink应用程序所遵循的基本模式。其中，包括Flink支持的数据集类型，有界数据集和无界数据集的区别，以及有界数据集和无界数据集之间的转换。同时针对无界和有界数据集的处理，将介绍Flink分别提供对应的开发接口DataStream

      开发者  >  博客
      作者： 华章计算机
      发表时间： 2020-02-17 14:11:24
      4168
      0

    • Flink SQL Client初探

      jp/infosystems/apache/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz 解压：tar -zxvf flink-1.10.0-bin-scala_2.11.tgz 进目录flink-1.10.0/bin/，执行命令./start-cluster

      开发者  >  博客
      作者： 程序员欣宸
      发表时间： 2022-04-11 07:27:44
      629
      0

    • Flink综合案例(九)v2

      /etc/profile 上传 flink 依赖的 Hive jar包上传到 Flink/lib 目录下 [root@node3 lib]# wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-hive-2

      开发者  >  博客
      作者： Maynor学长
      发表时间： 2022-07-24 04:02:49
      258
      0

    • 2021年大数据Flink（十七）：Flink四大基石

      目录 Flink四大基石 Checkpoint State Time Window Flink四大基石 Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。

      开发者  >  博客
      作者： Lansonli
      发表时间： 2021-09-28 14:56:29
      1096
      0

    • Flink作业高可靠推荐配置指导（异常自动重启） - 数据湖探索 DLI

      登录DLI控制台，创建Flink作业，编写作业SQL后，配置“运行参数”。本例对重点参数加以说明，其他参数根据业务情况自行配置即可。 Flink Jar作业可靠性配置与SQL作业相同，不再另行说明。 根据如下公式，配置作业的“CU数量”、“管理单元”与“最大并行数”： CU数量 =

      帮助中心 > 数据湖探索 DLI > 开发指南 > Flink OpenSource SQL作业开发指南

    • Flink和Spark读写avro文件

      本文基于上述文章进行扩展，展示flink和spark如何读取avro文件。 Flink读写avro文件 flink支持avro文件格式，内置如下依赖： <dependency> <groupId>org.apache.flink</groupId>

      开发者  >  博客
      作者： 从大数据到人工智能
      发表时间： 2022-03-27 16:39:33
      775
      0

    • flink问题集锦

      version: 2.11.12 org.apache.flink:flink-runtime_2.11:1.13.2 requires scala version: 2.11.12 org.apache.flink:flink-scala_2.11:1.13.2 requires

      开发者  >  博客
      作者： 橙子园
      发表时间： 2022-05-25 15:02:06
      831
      0

    • flink写入hdfs文件大小和时间间隔

      sink.setBatchSize(1024 * 1024 * 400L); // this is 400 MB, sink.setBatchRolloverInterval(20 * 60 * 1000L); // this is 20 mins 注意：batchSize和B

      开发者  >  博客
      作者： 百忍成金的虚竹
      发表时间： 2021-04-05 15:19:27
      1585
      0

    • flink 读写 hudi

      请问MRS8.1.0.1 版本 flink可以读写hudi文件吗？ 

      开发者  >  其他
      作者： yumingde
      3008
      2

    • Hadoop jar包冲突，导致Flink提交失败 - 数据湖探索 DLI

      Hadoop jar包冲突，导致Flink提交失败 问题现象 Flink 提交失败，异常为： Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop

      帮助中心 > 数据湖探索 DLI > 常见问题 > Flink作业类 > Flink Jar作业类

    • Apache Flink学习研究

      Artisans)是一家由Apache Flink最初的创建者创建的公司，并雇佣了许多目前Apache Flink的提交者。2      Flink的技术特点是什么？Apache Flink的核心是一个用Java和Scala编写的分布式流式数据流引擎，Flink以数据并行和流水线的方式执行任意数

      开发者  >  博客
      作者： Jet Ding
      发表时间： 2020-09-29 14:57:50
      3433
      0

    • Flink 基本原理

      据，时延毫秒级，且兼具可靠性。Flink技术栈如图1所示。图1 Flink技术栈Flink在当前版本中重点构建如下特性，其他特性继承开源社区，不做增强，具体请参考：https://ci.apache.org/projects/flink/flink-docs-release-1.

      开发者  >  其他
      作者： 萧凡依云
      1375
      1

    • 《Flink原理、实战与性能优化》 —2.3.3　导入Flink应用代码

      package或者直接通过IDE中自带的工具Maven编译方式对项目进行编译；完成了在IntelliJ IDEA中导入Flink项目，接下来用户就可以开发Flink应用了。

      开发者  >  博客
      作者： 华章计算机
      发表时间： 2020-02-17 13:56:08
      2894
      0

    • MRS Flink使用SQL-Client对接Hive

      一、准备环境 1.根据产品文档安装Flink客户端； 2.将sql-client-defaults.yaml放入/opt/client/Flink/flink/conf中 3.将jaas.conf放入/opt/client/Flink/flink/conf中 Client {com

      开发者  >  博客
      作者： yangxiao_mrs
      发表时间： 2021-09-29 09:38:40
      1872
      1

    • FusionInsight新特性-Flink

      介绍Flink的技术原理与架构，以及华为大数据平台集成Flink后的增强功能。

      开发者  >  视频
      播放量  8814

    • 【fi 华为flink sql】【XXX功能】flink sql 是怎么读和写Gauss高斯数据库的?

      【功能模块】【fi  华为flink  sql】【XXX功能】flink sql 是怎么读和写Gauss高斯数据库的?【操作步骤&问题现象】1、我想迁移这部分功能到开源的flink 1.12上, 使得  开源的flink  sql也支持  读和写 Gauss高斯数据库 ?2、【截图信息】

      开发者  >  其他
      作者： 黄金振
      3284
      1

    • Flink SQL作业Kafka分区数增加或减少，怎样不停止Flink作业实现动态感知？ - 数据湖探索 DLI

      Flink SQL作业Kafka分区数增加或减少，怎样不停止Flink作业实现动态感知？ 问题描述 用户执行Flink Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大，后期需要更改Kafka区分数。

      帮助中心 > 数据湖探索 DLI > 常见问题 > Flink作业类 > Flink SQL作业类

    • 基于Flink CDC打通数据实时入湖

      ino/Presto。流批接口支持：支持流式写入、批量写入，支持流式读取、批量读取。下文的测试中，主要测试了流式写入和批量读取的功能。 03Flink CDC打通数据实时导入Iceberg实践 当前使用Flink最新版本1.12，支持CDC功能和更好的流批一体。Apache

      开发者  >  博客
      作者： 数据社
      发表时间： 2022-09-24 20:18:51
      317
      0
    总条数： 10000
    点击加载更多