数据湖探索 DLI-DWS结果表(不推荐使用):注意事项

时间:2024-12-27 10:34:33

注意事项

  • 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
  • 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据
  • with参数中字段只能使用单引号,不能使用双引号。
  • 若需要使用upsert模式,则必须在DWS结果表和该结果表连接的DWS表都定义主键。
  • 若DWS在不同的schema中存在相同名称的表,则在flink opensource sql中需要指定相应的schema。
  • 使用gsjdbc4驱动连接时,加载的数据库驱动类为:org.postgresql.Driver。该驱动为默认,创建表时可以不填该驱动参数。
    例如,使用gsjdbc4驱动连接、upsert模式写入数据到DWS中。
     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    create table dwsSink(
      car_id STRING,
      car_owner STRING,
      car_brand STRING,
      car_speed INT
    ) with (
      'connector' = 'gaussdb',
      'url' = 'jdbc:postgresql://DwsAddress:DwsPort/DwsDatabase',
      'table-name' = 'car_info',
      'username' = 'DwsUserName',
      'password' = 'DwsPasswrod',
      'write.mode' = 'upsert'
    );
    
  • 使用gsjdbc200驱动连接时,加载的数据库驱动类为:com.huawei.gauss200.jdbc.Driver。
    当DWS表test在名为ads_game_sdk_base的schema下时,可以参考如下样例创建DWS结果表。
    create table dwsSink(
      car_id STRING,
      car_owner STRING,
      car_brand STRING,
      car_speed INT
    ) with (
      'connector' = 'gaussdb',
      'table-name' = 'ads_game_sdk_base.test',
      'driver' = 'com.huawei.gauss200.jdbc.Driver',
      'url' = 'jdbc:gaussdb://DwsAddress:DwsPort/DwsDatabase',
      'username' = 'DwsUserName',
      'password' = 'DwsPasswrod',
      'write.mode' = 'upsert'
    );
support.huaweicloud.com/sqlref-flink-dli/dli_08_15105.html