云服务器内容精选

华为云首页用户手册

Flink OpenSource SQL作业开发指南

数据湖探索 DLI-从MySQL CDC源表读取数据写入到DWS:整体作业开发流程

整体作业开发流程整体作业开发流程参考图1。图1 作业开发流程步骤1：创建队列：创建 DLI 作业运行的队列。步骤2：创建RDS MySQL数据库和表：创建RDS MySQL的数据库和表。步骤3：创建DWS数据库和表：创建用于接收数据的DWS数据库和表。步骤4：创建增强型跨源连接：DLI上创建连接RDS和DWS的跨源连接，打通网络。步骤5：运行作业：DLI上创建和运行Flink OpenSource作业。步骤6：发送数据和查询结果：RDS MySQL的表上插入数据，在DWS上查看运行结果。

数据湖探索 DLI Flink OpenSource SQL作业开发指南
数据湖探索 DLI-从MySQL CDC源表读取数据写入到DWS:步骤3：创建DWS数据库和表

步骤3：创建DWS数据库和表连接已创建的DWS集群。请参考使用gsql命令行客户端连接DWS集群。执行以下命令连接DWS集群的默认数据库“gaussdb”： gsql -d gaussdb -h DWS集群连接地址 -U dbadmin -p 8000 -W password -r gaussdb：DWS集群默认数据库。 DWS集群连接地址：请参见获取集群连接地址进行获取。如果通过公网地址连接，请指定为集群“公网访问地址”或“公网访问域名 ”，如果通过内网地址连接，请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。 dbadmin：创建集群时设置的默认管理员用户名。 -W：默认管理员用户的密码。在命令行窗口输入以下命令创建数据库“testdwsdb”。 CREATE DATABASE testdwsdb; 执行以下命令，退出gaussdb数据库，连接新创建的数据库“testdwsdb”。 \q gsql -d testdwsdb -h DWS集群连接地址 -U dbadmin -p 8000 -W password -r 执行以下命令创建表。 create schema test; set current_schema= test; drop table if exists dwsresult; CREATE TABLE dwsresult ( car_id VARCHAR, car_owner VARCHAR, car_age INTEGER , average_speed FLOAT8, total_miles FLOAT8 );

数据湖探索 DLI Flink OpenSource SQL作业开发指南