数据湖探索 DLI-从Kafka读取数据写入到DWS:整体作业开发流程

时间:2024-05-20 09:43:43

整体作业开发流程

整体作业开发流程参考图1
图1 作业开发流程

步骤1:创建队列:创建 DLI 作业运行的队列。

步骤2:创建Kafka的Topic:创建Kafka生产消费数据的Topic。

步骤3:创建DWS数据库和表:创建DWS数据库和表信息。

步骤4:创建增强型跨源连接:DLI上创建连接Kafka和DWS的跨源连接,打通网络。

步骤5:运行作业:DLI上创建和运行Flink OpenSource作业。

步骤6:发送数据和查询结果:Kafka上发送流数据,在RDS上查看运行结果。

support.huaweicloud.com/devg-dli/dli_09_0010.html