数据湖探索 DLI-Redis维表:参数说明

时间：2025-02-28 14:50:58

数据湖探索 DLI

参数说明

表1 参数说明
参数	是否必选	默认值	数据类型	说明
connector	是	无	String	connector类型，需配置为'redis'。
host	是	无	String	redis连接地址。
port	否	6379	Integer	redis连接端口。
password	否	无	String	redis认证密码。
namespace	否	无	String	redis key的namespace
delimiter	否	:	String	redis的key和namespace之间的分隔符。
data-type	否	hash	String	redis的数据类型，有下列选项 hash list set sorted-set string data-type取值约束详见data-type取值约束说明。
schema-syntax	否	fields	String	redis的schema语义，包含以下值： fields：适用于所有数据类型 fields-scores：适用于sorted set数据类型 array：适用于list、set、sorted set数据类型 array-scores：适用于sorted set数据类型 map：适用于hash、sorted set数据类型 schema-syntax取值约束详见schema-syntax取值约束说明。
deploy-mode	否	standalone	String	redis集群的部署模式，支持standalone、master-replica、cluster，默认standalone。
retry-count	是	5	Integer	设置每个连接请求的队列大小。如果超过队列大小，则命令调用将导致RedisException。将requestQueueSize设置为较低的值将导致在过载期间或连接处于断开状态时更早出现异常。更高的值意味着达到边界需要更长的时间，但可能会有更多的请求排队，并使用更多的堆空间。默认请设置为2147483647。
connection-timeout-millis	否	10000	Integer	尝试连接redis集群时的最大超时时间。
commands-timeout-millis	否	2000	Integer	等待操作完成响应的最大时间。
rebalancing-timeout-millis	否	15000	Integer	redis集群失败时的休眠时间。
scan-keys-count	否	1000	Integer	每次扫描时读取的数量。
default-score	否	0	Double	当data-type设置为“sorted-set”数据类型的默认score。
deserialize-error-policy	否	fail-job	Enum	数据解析失败时的处理方式。枚举类型，包含以下值： fail-job：作业失败 skip-row：跳过当前数据 null-field：设置当前数据为null
skip-null-values	否	true	Boolean	是否跳过null。
lookup.async	否	false	Boolean	作为redis维表时，是否使用异步 I/O。
lookup.parallelism	否	无	int	定义查找连接运算符的自定义并行度。默认情况下，如果未定义此选项，则规划器将通过考虑全局配置（如果定义了选项“lookup.parallelism”）来推导并行度，否则将考虑输入运算符的并行度。
lookup.batch.interval	否	1s	Duration	批量查找连接可以使用最大延迟来缓冲输入记录。批量查找连接可以使用最大延迟来缓冲输入记录。
lookup.batch.size	否	100L	long	可以缓冲的最大输入记录数，以便进行批量查找连接。
lookup.batch	否	false	Boolean	指定是否启用批量查找优化。如果启用，用户必须同时设置 lookup.batch.interval 和 lookup.batch.size 选项。此外，由于底层批处理间隔干扰机制的实现，用户必须在 flink 配置中显式启用 table.exec.batch-lookup.enabled' 选项
ignore-retractions	否	false	Boolean	连接器应忽略更新插入/撤回流模式下的收回消息。
key-column	否	无	String	Redis 表schema的key