华为云首页用户手册

数据湖探索 DLI-Flink作业概述

数据湖探索 DLI-Flink作业概述

时间：2024-11-14 11:04:48

数据湖探索 DLI 使用DLI提交Flink作业

Flink作业概述

DLI 支持的两种类型的Flink作业：

Flink OpenSource SQL类型作业：
- 完全兼容社区版的Flink，确保了作业可以在这些Flink版本上无缝运行。
- 在社区版Flink的基础上，DLI扩展了Connector的支持，新增了Redis、DWS作为数据源类型。为用户提供了更多的数据源选择，使得数据集成更加灵活和方便。
- Flink OpenSource SQL作业适合通过SQL语句来定义和执行流处理逻辑的场景，简化了流处理的复杂性，使得开发者可以更加专注于业务逻辑的实现。
创建Flink OpenSource SQL请参考创建Flink OpenSource SQL作业。
Flink Jar作业：
- DLI允许用户提交编译为Jar包的Flink作业，提供了更高的灵活性和自定义能力，适合需要进行复杂数据处理的场景。
- 当社区版Flink提供的Connector不能满足特定需求时，用户可以通过Jar作业来实现自定义的Connector或数据处理逻辑。
- 适合需要实现UDF（用户定义函数）或特定库集成的场景，用户可以利用Flink的生态系统来实现高级的流处理逻辑和状态管理。
创建Flink Jar作业请参考创建Flink Jar作业。

父主题： 使用DLI提交Flink作业

上一篇：数据湖探索 DLI-DLI常用跨源分析开发方式:跨源分析开发方式

下一篇：数据湖探索 DLI-查询Spark作业日志:前提条件

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据湖探索 DLI-Flink作业概述

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题