数据湖探索 DLI-从Kafka读取数据写入到DWS:整体作业开发流程
整体作业开发流程
步骤1:创建队列:创建 DLI 作业运行的队列。
步骤2:创建Kafka的Topic:创建Kafka生产消费数据的Topic。
步骤3:创建DWS数据库和表:创建DWS数据库和表信息。
步骤4:创建增强型跨源连接:DLI上创建连接Kafka和DWS的跨源连接,打通网络。
步骤5:运行作业:DLI上创建和运行Flink OpenSource作业。
步骤6:发送数据和查询结果:Kafka上发送流数据,在RDS上查看运行结果。
- 什么是Flink OpenSource SQL_数据湖探索_Flink OpenSource SQL
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- 什么是弹性资源池_数据湖探索DLI弹性资源池
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- 什么是跨源连接-数据湖探索DLI跨源连接
- 数据治理中心_数据开发_数据开发能力_脚本和节点介绍-华为云
- 数据仓库服务GaussDB(DWS)_SQL on Anywhere
- Kafka与其他消息队列的对比_什么是Kafka_分布式消息系统-华为云
- 数据治理中心_数据开发_数据开发示例_使用教程-华为云
- 数据治理中心_数据集成_使用教程_-华为云