云搜索服务 CSS-使用Logstash将RDS MySQL数据同步至Elasticsearch:约束限制

时间:2025-01-06 15:21:22

约束限制

  • Elasticsearch中的_id字段必须与MySQL中的id字段相同。

    这是为了确保当MySQL中的记录写入Elasticsearch时,同步任务可在MySQL记录与Elasticsearch索引之间建立一个直接映射的关系。例如,当MySQL中更新了某条记录时,同步任务会覆盖Elasticsearch中与更新记录具有相同ID的索引。

  • 当MySQL中插入或者更新数据时,对应记录必须有一个包含更新或插入时间的字段。

    Logstash在每次轮询MySQL时,会记录最后读取记录的时间戳,并在下一次读取时只获取该时间戳之后更新或插入的符合条件的记录。

  • 确保MySQL数据库、Logstash集群和Elasticsearch集群在同一时区,否则当同步与时间相关的数据时,同步前后的数据可能存在时区差。
support.huaweicloud.com/bestpractice-css/css_07_0047.html