数据湖探索 DLI-DWS维表:参数说明

时间：2024-07-01 21:07:20

数据湖探索 DLI

参数说明

表1 参数说明
参数	是否必选	默认值	数据类型	说明
connector	是	无	String	connector类型，需配置为'gaussdb'。
url	是	无	String	jdbc连接地址。使用gsjdbc4驱动连接时，格式为：jdbc:postgresql://${ip}:${port}/${dbName} 。使用gsjdbc200驱动连接时，格式为：jdbc:gaussdb://${ip}:${port}/${dbName}。
table-name	是	无	String	读取数据库中的数据所在的表名。
driver	否	无	String	jdbc连接驱动，默认为: org.postgresql.Driver。使用gsjdbc4驱动连接时，加载的数据库驱动类为：org.postgresql.Driver。使用gsjdbc200驱动连接时，加载的数据库驱动类为：com.huawei.gauss200.jdbc.Driver。
username	否	无	String	数据库认证用户名，需要和'password'一起配置。
password	否	无	String	数据库认证密码，需要和'username'一起配置。
scan.partition.column	否	无	String	用于对输入进行分区的列名。与scan.partition.lower-bound、scan.partition.upper-bound、scan.partition.num必须同时存在或者同时不存在。
scan.partition.lower-bound	否	无	Integer	第一个分区的最小值。与scan.partition.column、scan.partition.upper-bound、scan.partition.num必须同时存在或者同时不存在。
scan.partition.upper-bound	否	无	Integer	最后一个分区的最大值。与scan.partition.column、scan.partition.lower-bound、scan.partition.num必须同时存在或者同时不存在。
scan.partition.num	否	无	Integer	分区的个数。与scan.partition.column、scan.partition.upper-bound、scan.partition.upper-bound必须同时存在或者同时不存在。
scan.fetch-size	否	0	Integer	每次从数据库拉取数据的行数。默认值为0，表示不限制。
scan.auto-commit	否	true	Boolean	设置自动提交标志。它决定每一个statement是否以事务的方式自动提交。
lookup.cache.max-rows	否	无	Integer	维表配置，缓存的最大行数，超过该值时，最先添加的数据将被标记为过期。默认表示不使用该配置。
lookup.cache.ttl	否	无	Duration	维表配置，缓存超时时间，超过该时间的数据会被剔除。格式为：{length value}{time unit label}，如123ms, 321s，支持的时间单位包括: d,h,min,s,ms等，默认为ms。默认表示不使用该配置。
lookup.max-retries	否	3	Integer	维表配置，数据拉取最大重试次数。
pwd_auth_name	否	无	String	DLI 侧创建的Password类型的跨源认证名称。使用跨源认证则无需在作业中配置账号和密码。