数据湖探索 DLI-DWS维表:参数说明

时间:2024-11-16 13:21:42

参数说明

表1 参数说明

参数

是否必选

默认值

数据类型

说明

connector

String

connector类型,需配置为'gaussdb'。

url

String

jdbc连接地址。

使用gsjdbc4驱动连接时,格式为:jdbc:postgresql://${ip}:${port}/${dbName} 。

使用gsjdbc200驱动连接时,格式为:jdbc:gaussdb://${ip}:${port}/${dbName}。

table-name

String

读取数据库中的数据所在的表名。

driver

String

jdbc连接驱动,默认为: org.postgresql.Driver。

  • 使用gsjdbc4驱动连接时,加载的数据库驱动类为:org.postgresql.Driver。
  • 使用gsjdbc200驱动连接时,加载的数据库驱动类为:com.huawei.gauss200.jdbc.Driver。

username

String

数据库认证用户名,需要和'password'一起配置。

password

String

数据库认证密码,需要和'username'一起配置。

scan.partition.column

String

用于对输入进行分区的列名。

与scan.partition.lower-bound、scan.partition.upper-bound、scan.partition.num必须同时存在或者同时不存在。

scan.partition.lower-bound

Integer

第一个分区的最小值。

与scan.partition.column、scan.partition.upper-bound、scan.partition.num必须同时存在或者同时不存在。

scan.partition.upper-bound

Integer

最后一个分区的最大值。

与scan.partition.column、scan.partition.lower-bound、scan.partition.num必须同时存在或者同时不存在。

scan.partition.num

Integer

分区的个数。

与scan.partition.column、scan.partition.upper-bound、scan.partition.upper-bound必须同时存在或者同时不存在。

scan.fetch-size

0

Integer

每次从数据库拉取数据的行数。默认值为0,表示不限制。

scan.auto-commit

true

Boolean

设置自动提交标志。

它决定每一个statement是否以事务的方式自动提交。

lookup.cache.max-rows

Integer

维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。

默认表示不使用该配置。

lookup.cache.ttl

Duration

维表配置,缓存超时时间,超过该时间的数据会被剔除。格式为:{length value}{time unit label},如123ms, 321s,支持的时间单位包括: d,h,min,s,ms等,默认为ms。

默认表示不使用该配置。

lookup.max-retries

3

Integer

维表配置,数据拉取最大重试次数。

pwd_auth_name

String

DLI 侧创建的Password类型的跨源认证名称。

使用跨源认证则无需在作业中配置账号和密码。

support.huaweicloud.com/sqlref-flink-dli/dli_08_0403.html