数据湖探索 DLI-CSS Elasticsearch输出流:关键字

时间：2024-11-16 13:21:40

数据湖探索 DLI

关键字

表1 关键字说明
参数	是否必选	说明
type	是	输出通道类型，es表示输出到云搜索服务中。
region	是	数据所在的云搜索服务所在区域。
cluster_address	是	云搜索服务集群的内网访问地址，例如：x.x.x.x:x，多个地址时以逗号分隔。
es_index	是	待插入数据的索引，支持参数化。对应 CSS 服务中的index。具体请参考《云搜索服务产品介绍》。
es_type	是	待插入数据的文档类型，支持参数化。对应 CS S服务中的type。具体请参考《云搜索服务产品介绍》。若使用的es版本为6.x，则该值不能以"_"开头。若使用的es版本为7.x，如果提前预置CSS服务中的type，则es_type需为"_doc"，否则可为符合CSS规范的值。
es_fields	是	待插入数据字段的key，具体形式如："id,f1,f2,f3,f4"，并且保证与sink中数据列一一对应；如果不使用key，而是采用随机的属性字段，则无需使用id关键字，具体形式如："f1,f2,f3,f4,f5"。对应CSS服务中的filed。具体请参考《云搜索服务产品介绍》。
batch_insert_data_num	是	表示一次性批量写入的数据量，值必须为正整数，单位为：条。上限为65536，默认值为10。
action	否	当值为add时，表示遇到相同id时，数据被强制覆盖，当值为upsert时，表示遇到相同id时，更新数据（选择upsert时，es_fields字段中必须指定id），默认值为add。
enable_output_null	否	使用该参数来配置是否输出空字段。当该参数为true表示输出空字段（值为null），若为false表示不输出空字段。默认为false。
max_record_num_cache	否	记录最大缓存数。
es_certificate_name	否	跨源认证信息名称。创建跨源认证请参考跨源认证。若es集群开启安全模式且开启https，则使用证书进行访问，创建的跨源认证类型需要为“CSS”。若es集群开启安全模式，但关闭https，则使用证书和账号密码进行访问，创建的跨源认证类型需要为"Password"。