检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Jar作业开发指南 流生态作业开发指引 Flink Jar作业开发基础样例 使用Flink Jar写入数据到OBS开发指南 使用Flink Jar连接开启SASL_SSL认证的Kafka 使用Flink Jar读写DIS开发指南
Flink性能调优开发规范 Flink性能调优规则 Flink性能调优建议 父主题： Flink应用开发规范
Flink作业提交错误，如何定位 在Flink作业管理页面，将鼠标悬停到提交失败的作业状态上，查看失败的简要信息。 常见的失败原因可能包括： CU资源不足：需扩容队列。 生成jar包失败：检查SQL语法及UDF等。 如果信息不足以定位或者是调用栈错误，可以进一步单击作业名称，进入到作业详情页面
配置Flink任务并行度 操作场景 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点
Flink作业RocksDB状态后端调优 本章节适用于MRS 3.3.0及以后版本。 Flink作业RocksDB介绍 当启用RocksDB作为作业的状态后端时，大量的状态数据会导致RocksDB的读写性能差。可通过如下方法排查算子性能是否受RocksDB影响： 在TaskManager
优化Flink Netty网络通信参数 Flink通信介绍 Flink通信主要依赖netty网络，所以在Flink应用执行过程中，netty的设置尤为重要，网络通信的好坏直接决定着数据交换的速度以及任务执行的效率。 优化Flink Netty网络通信参数方法 以下配置均可在客户端的
Flink SQL作业Kafka分区数增加或减少，不用停止Flink作业，实现动态感知 问题描述 用户执行Flink Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大，后期需要更改Kafka区分数
1.1.1 开启checkpoint并且自定义目录后任务运行24小时后checkpoint全部失败 问题现象 Flink选择使用对接ES的任务在运行一段时间后checkpoint全部失败，而对接kafka能够正常运行。 可能原因 ES的认证模式跟其它场景不同
01、Flink 实例：处理 IoT 事件流 假设一台机器上安装了传感器，用户希望从这些传感器收集数据，并每 5min 计算每个传感器的平均温度。其架构如图 1 所示。 ■ 图 1 IOT 事件处理架构 在这个场景中，假设传感器将信息发送给 Kafka 的主题 temp
项目进度： 1. 数据采集 1.1. 沪市行情实时文本数据采集 沪市行情服务端会在交易时间段内对外实时广播行情数据，实时行情数据以txt文本的形式写入存储网关(FTP服务)，这里我们采用Flume自定source的方式实时采集FTP服务器上的行情数据源。 1.1.1. 沪市采集数据流程
Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。 StreamGraph：是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。 JobGraph
欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 本篇概览 在《Flink SQL Client初探》一文中，我们体验了Flink SQL Client的基本功能，今天来通过实战更深入学习和体验
1.设计分区方法 操作场景 合理的设计分区依据，可以优化task的切分。在程序编写过程中要尽量分区均匀，这样可以实现每个task数据不倾斜，防止由于某个task的执行时间过长导致整个任务执行缓慢。 操作步骤 以下是几种分区方法。 •随机分区：将元素随机地进行分区。dataStream.shuffle
Flink一键安装，本地模式 install-flink.sh 脚本内容 #!/bin/bash ####变量 ###执行脚本的当前目录 mydir=$(cd "$(dirname "$0")";pwd) echo $mydir #flink安装目录 flink=/flink #
import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.functions.ReduceFunction; import org.apache.flink.api.java.tuple.Tuple2
3.4 Flink数据类型3.4.1 数据类型支持 Flink支持非常完善的数据类型，数据类型的描述信息都是由TypeInformation定义，比较常用的TypeInformation有BasicTypeInfo、TupleTypeInfo、CaseClassTypeInfo
第1章Apache Flink介绍 本章对Apache Flink从多个方面进行介绍，让读者对Flink这项分布式处理技术能够有初步的了解。1.1节主要介绍了Flink的由来及其发展历史，帮助读者从历史的角度了解Flink这项技术发展的过程。1.2节重点介绍了Flink
文章目录 一、创建Maven项目 - ScalaWordCount 三、利用mvn
1.4 Flink基本架构1.4.1 基本组件栈 在Flink整个软件架构体系中，同样遵循着分层的架构设计理念，在降低系统耦合度的同时，也为上层用户构建Flink应用提供了丰富且友好的接口。从图1-5中可以看出整个Flink的架构体系基本上可以分为三层，由上往下依次是
前言 生产环境，我们的 Flink 作业偶尔会出现 heap OOM，那么当出现这种情况我们会怎么办？通常来说会通过 jmap 命令去将作业的 heap dump 一份文件出来，可是 jmap 导出的文件我们也看不懂啊，那么该怎么分析呢？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
