数据湖探索 DLI-DWS结果表:参数说明

时间:2024-07-01 21:07:18

参数说明

表1 参数说明

参数

是否必选

说明

connector.type

connector类型,需配置为'gaussdb'

connector.url

jdbc连接地址,格式为:jdbc:postgresql://${ip}:${port}/${dbName} 。

connector.table

操作的表名。如果该DWS表在某schema下,则格式为:'schema\".\"具体表名',具体可以参考示例说明。

connector.driver

jdbc连接驱动,默认为: org.postgresql.Driver。

connector.username

数据库认证用户名,需要和'connector.password'一起配置

connector.password

数据库认证密码,需要和'connector.username'一起配置

connector.write.mode

数据写入模式,支持: copy, insert以及upsert三种。默认值为upsert。

该参数与'primary key'配合使用。

  • 未配置'primary key'时,支持copy及insert两种模式追加写入。
  • 配置'primary key',支持copy、upsert以及insert三种模式更新写入。

注意:由于dws不支持更新分布列,因而配置的更新主键必须包含dws表中定义的所有分布列。

connector.write.flush.max-rows

数据flush大小,超过该值将触发写入flush。默认为5000。

connector.write.flush.interval

数据flush周期,周期性触发写入flush。格式为:{length value}{time unit label},如123ms, 321s,支持的时间单位包括: d,h,min,s,ms等,默认为ms。不填写则默认不根据时间刷新。

connector.write.max-retries

写入最大重试次数,默认为3。

connector.write.merge.filter-key

配置PRIMARY KEY,并且“connector.write.mode”配置为copy时,可以配置merge时的过滤列名。

connector.write.escape-string-value

是否对string类型值进行转义,默认为false。

support.huaweicloud.com/sqlreference-dli/dli_08_0312.html