数据湖探索 DLI-Elasticsearch结果表:参数说明

时间：2024-12-27 10:34:30

数据湖探索 DLI

参数说明

表1 参数说明
参数	是否必选	默认值	类型	说明
connector	是	无	String	指定要使用的连接器，固定为：elasticsearch-7。表示连接到 Elasticsearch 7.x 及更高版本集群。
hosts	是	无	String	Elasticsearch所在集群的主机名，多个以';'间隔。
index	是	无	String	每条记录的 Elasticsearch 索引。可以是静态索引（例如'myIndex'）或动态索引（例如'index-{log_ts\|yyyy-MM-dd}'）。
username	否	无	String	Elasticsearch所在集群的账号。该账号参数需和密码“password”参数同时配置。
password	否	无	String	Elasticsearch所在集群的密码。该密码参数需和“username”参数同时配置。
certificate	否	无	String	Elasticsearch集群的证书在obs中的位置。例如：obs://bucket/path/CloudSearchService.cer 仅在开启安全模式，且开启https，且未使用其他跨源认证的场景下下需要配置该参数。
document-id.key-delimiter	否	_	String	连接复合主键的拼接符，默认为_。
failure-handler	否	fail	String	对Elasticsearch请求失败时的故障处理策略。有效的策略是： fail: 如果请求失败并因此导致作业失败，则抛出异常。 ignore: 忽略失败并丢弃请求。 retry-rejected：重新添加由于队列容量饱和而失败的请求。自定义类名：用于使用ActionRequestFailureHandler子类进行故障处理。
sink.flush-on-checkpoint	否	true	Boolean	是否在检查点刷新。如果配置为false，在Elasticsearch进行Checkpoint时，connector将不等待确认所有pending请求已完成。因此，connector不会为请求提供at-least-once保证。
sink.bulk-flush.max-actions	否	1000	Interger	每个批量请求的最大缓冲操作数。可以设置'0'为禁用它。
sink.bulk-flush.max-size	否	2mb	MemorySize	每个批量请求的缓冲操作的内存中的最大大小。必须是MB粒度。可以设置'0'为禁用它。
sink.bulk-flush.interval	否	1s	Duration	刷新缓冲操作的间隔。可以设置'0'为禁用它。请注意: 'sink.bulk-flush.max-size'和'sink.bulk-flush.max-actions' 都可以设置为'0'刷新间隔，从而允许对缓冲操作进行完整的异步处理。
sink.bulk-flush.backoff.strategy	否	DISABLED	String	指定在任何刷新操作由于临时请求错误而失败时如何执行重试。有效的策略是： DISABLED：未执行重试，即在第一个请求错误后失败。 CONSTANT：等待重试之间的退避延迟。 EXPONENTIAL：最初等待退避延迟并在重试之间呈指数增加。
sink.bulk-flush.backoff.max-retries	否	8	Integer	最大退避重试次数。
sink.bulk-flush.backoff.delay	否	50ms	Duration	每次退避尝试之间的延迟。对于CONSTANT退避，这只是每次重试之间的延迟。对于EXPONENTIAL退避，这是初始基本延迟。
connection.max-retry-timeout	否	无	Duration	重试之间的最大超时时间。
connection.path-prefix	否	无	String	要添加到每个REST通信的前缀字符串，例如， '/v1'。
format	否	json	String	Elasticsearch连接器支持指定格式。该格式必须生成有效的 json 文档。默认情况下使用内置'json'格式。请参考Format页面以获取更多详细信息和格式参数。
pwd_auth_name	否	无	String	Password类型的跨源认证名称。仅在使用 CSS 类型的跨源认证时配置该参数。 es_auth_name和pwd_auth_name只能配置一个。
es_auth_name	否	无	String	CS S类型的跨源认证的名称。仅在使用CSS类型的跨源认证时配置该参数。 es_auth_name和pwd_auth_name只能配置一个。