数据湖探索 DLI-从Kafka读取数据写入到Elasticsearch:整体作业开发流程

时间:2024-11-16 13:16:39

整体作业开发流程

整体作业开发流程参考图1
图1 作业开发流程

步骤1:创建队列:创建 DLI 作业运行的队列。

步骤2:创建Kafka的Topic:创建Kafka生产消费数据的Topic。

步骤3:创建Elasticsearch搜索索引:创建Elasticsearch搜索索引用于接收结果数据。

步骤4:创建增强型跨源连接:DLI上创建连接Kafka和 CSS 的跨源连接,打通网络。

步骤5:运行作业:DLI上创建和运行Flink OpenSource作业。

步骤6:发送数据和查询结果:Kafka上发送流数据,在 CS S上查看运行结果。

support.huaweicloud.com/devg-dli/dli_09_0011.html