云服务器内容精选

华为云首页用户手册

使用DLI提交Flink作业

数据湖探索 DLI-创建Flink OpenSource SQL作业:静态流图

静态流图在OpenSource SQL作业编辑页面，单击“静态流图”按钮即可展示。仅Flink 1.12和Flink 1.10版本支持查看简化流图。 Flink Opensource SQL作业中使用自定义函数时，不支持生成静态流图。 “静态流图”页面还支持以下功能：支持资源预估。通过单击“静态流图”页面中的“资源预估”按钮，可进行资源预估。单击“恢复初始值”按钮，可在资源预估后恢复初始值。支持展示页面缩放。支持根据算子链展开/合并。支持编辑“并行数”，“流量”和“命中率”。并行数：一个任务的并发数。流量：算子的数据流量，单位：条/s。命中率：数据经过算子处理之后的保留率。命中率=算子的数据流出量/流入量，单位：%。图5 静态流图

数据湖探索 DLI 使用DLI提交Flink作业
数据湖探索 DLI-Flink作业概述

Flink作业概述 DLI 支持的两种类型的Flink作业： Flink OpenSource SQL类型作业：完全兼容社区版的Flink，确保了作业可以在这些Flink版本上无缝运行。在社区版Flink的基础上，DLI扩展了Connector的支持，新增了Redis、DWS作为数据源类型。为用户提供了更多的数据源选择，使得数据集成更加灵活和方便。 Flink OpenSource SQL作业适合通过SQL语句来定义和执行流处理逻辑的场景，简化了流处理的复杂性，使得开发者可以更加专注于业务逻辑的实现。创建Flink OpenSource SQL请参考创建Flink OpenSource SQL作业。 Flink Jar作业： DLI允许用户提交编译为Jar包的Flink作业，提供了更高的灵活性和自定义能力，适合需要进行复杂数据处理的场景。当社区版Flink提供的Connector不能满足特定需求时，用户可以通过Jar作业来实现自定义的Connector或数据处理逻辑。适合需要实现UDF（用户定义函数）或特定库集成的场景，用户可以利用Flink的生态系统来实现高级的流处理逻辑和状态管理。创建Flink Jar作业请参考创建Flink Jar作业。父主题：使用DLI提交Flink作业

数据湖探索 DLI 使用DLI提交Flink作业