数据湖探索 DLI-Elasticsearch结果表:参数说明
参数说明
参数 |
是否必选 |
说明 |
---|---|---|
connector.type |
是 |
connector的类型,对于elasticsearch需配置为elasticsearch |
connector.version |
是 |
使用的elasticsearch的版本。 当前只能使用版本7,即该值只能为7 |
connector.hosts |
是 |
Elasticsearch所在集群的主机名,多个以’;’间隔,注意请以http开头,如http://x.x.x.x:9200 |
connector.index |
是 |
Elasticsearch的索引名 |
connector.document-type |
是 |
Elasticsearch的type名称 当版本为7时,由于elasticsearch使用默认的_doc类型,因此该属性无效 |
update-mode |
是 |
sink的写入类型,支持append和upsert |
connector.key-delimiter |
否 |
连接复合主键的拼接符,默认为_ |
connector.key-null-literal |
否 |
当key中含有null时,使用该字符代替 |
connector.failure-handler |
否 |
elasticsearch请求失败时的策略,默认为fail fail:当请求失败且作业失败时抛出异常 ignore:忽略 retry-rejected:对于由于es节点的队列满时,会重新请求而不抛出失败。 custom:使用定制策略 |
connector.failure-handler-class |
否 |
使用失败时的定制策略时所使用的自定义处理方式 |
connector.flush-on-checkpoint |
否 |
checkpoint时是否会等待所有阻塞请求完成。 默认为true,表示会等待阻塞请求完成,如果配置为false,则表示不会等待阻塞请求完成。 |
connector.bulk-flush.max-actions |
否 |
批量写入时的每次最大写入记录数 |
connector.bulk-flush.max-size |
否 |
批量写入时的最大数据量,当前只支持MB,请带上单位 mb |
connector.bulk-flush.interval |
否 |
批量写入时的刷新的时间间隔,单位为milliseconds,无需带上单位 |
format.type |
是 |
当前只支持json |
connector.username |
否 |
Elasticsearch所在集群的账号。该账号参数需和密码“connector.password”参数同时配置。 使用账号密码参数时,创建的 云搜索服务 集群必须开启安全模式并且关闭https。 |
connector.password |
否 |
Elasticsearch所在集群的密码。该密码参数需和“connector.username”参数同时配置。 |