华为云首页用户手册

数据湖探索 DLI-Elasticsearch结果表:注意事项

时间：2024-05-25 09:17:49

数据湖探索 DLI 创建结果表

注意事项

当前只支持 CSS 集群7.X及以上版本，推荐使用7.6.2版本。
若未开启安全模式，无需使用任何跨源认证，即无需配置pwd_auth_name、es_auth_name、user_name、password、certificate，且语法中hosts字段值以http开头。
若开启安全模式，未开启https：
- 方法1：推荐使用password类型跨源认证，并配置pwd_auth_name为跨源认证的名称，且语法中hosts字段值以http开头。
- 方法2：不使用跨源认证，但需要配置用户名username、密码password，且语法中hosts字段值以http开头。
若开启安全模式，开启https：
- 方法1：推荐使用 CS S类型跨源认证名称，并配置es_auth_name为跨源认证的名称。请注意该场景hosts字段值以https开头。
- 方法2：不使用跨源认证，但需要配置用户名username、密码password、证书位置certificate。请注意该场景hosts字段值以https开头。
CSS集群安全组入向规则必须开启ICMP。
数据类型的使用，请参考Format章节。
提交Flink作业前，建议勾选“保存作业日志”参数，在OBS桶选项中选择日志保存的位置，方便后续作业提交失败或运行异常时，查看日志并分析问题原因。
Elasticsearch结果表根据是否定义了主键确定是在upsert模式还是在append模式下工作。
- 如果定义了主键，Elasticsearch Sink将在upsert模式下工作，该模式可以消费包含UPDATE和DELETE的消息。
- 如果未定义主键，Elasticsearch Sink将以append模式工作，该模式只能消费INSERT消息。
在Elasticsearch结果表中，主键用于计算Elasticsearch的文档ID。文档ID为最多512个字节不包含空格的字符串。Elasticsearch结果表通过使用“document-id.key-delimiter”参数指定的键分隔符按照DDL中定义的顺序连接所有主键字段，从而为每一行生成一个文档ID字符串。某些类型（例如BYTES、ROW、ARRAY和MAP等）由于没有对应的字符串表示形式，所以不允许其作为主键字段。如果未指定主键，Elasticsearch将自动生成随机的文档ID。
Elasticsearch结果表同时支持静态索引和动态索引。
- 如果使用静态索引，则索引选项值应为纯字符串，例如myusers，所有记录都将被写入myusers索引。
- 如果使用动态索引，可以使用{field_name}引用记录中的字段值以动态生成目标索引。您还可以使用 {field_name|date_format_string}将TIMESTAMP、DATE和TIME类型的字段值转换为date_format_string指定的格式。date_format_string与Java的DateTimeFormatter兼容。例如，如果设置为myusers-{log_ts|yyyy-MM-dd}，则log_ts字段值为2020-03-27 12:25:55的记录将被写入myusers-2020-03-27索引。