数据湖探索 DLI-pyspark样例代码:通过SQL API 访问数据源

时间:2024-06-20 11:23:10

通过SQL API 访问数据源

  1. 创建 DLI 跨源访问 dws 的关联表。
    1
    2
    3
    4
    5
    6
    7
    sparkSession.sql(
        "CREATE TABLE IF NOT EXISTS dli_to_dws USING JDBC OPTIONS (
        'url'='jdbc:postgresql://to-dws-1174404951-W8W4cW8I.datasource.com:8000/postgres',\
        'dbtable'='customer',\
        'user'='dbadmin',\
        'password'='######',\
        'driver'='org.postgresql.Driver')")
    

    建表参数详情可参考表1

  2. 插入数据
    1
    sparkSession.sql("insert into dli_to_dws values(2,'John',24)")
    
  3. 查询数据
    1
    jdbcDF = sparkSession.sql("select * from dli_to_dws").show()
    
  4. 操作结果

support.huaweicloud.com/devg-dli/dli_09_0087.html