检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
金融服务:根据交易金额、频率或风险评分对交易记录进行排序。 客户支持:根据工单的紧急程度或打开时间对客户请求进行排序。 方案架构 通过自定义规则对搜索结果进行排序是通过Elasticsearch的排序API实现的。通过调用排序API查询数据,实现数据按自定义规则排序。
前提条件 已具备安全模式的Elasticsearch集群和MySQL数据库,且两者在同一个VPC与安全组内。 MySQL数据库中已经有待同步的数据。 本文以如下表结构和初始数据举例。
提升分组聚合能力依赖排序键和聚簇键。 排序键:数据按照排序键顺序存储。 聚簇键:是排序键的前缀子集,数据按照聚簇键聚簇在一起。 聚合增强常见的使用场景请参见表1。
清理fielddata 进行聚合和排序时,会使用fielddata数据结构,会占用较大内存。 在Kibana执行如下命令,查询fielddata缓存情况。 GET /_cat/nodes?
自定义规则排序搜索 使用Elasticsearch自定义规则排序搜索结果 本实践为您介绍如何对搜索匹配的文档进行自定义评分。
Elasticsearch支持评分排序,在上面返回结果中,前两条商品信息中同时出现了“春装”和“牛仔裤”,后两条商品信息中只出现了“春装”,所以前两条比后两条与检索关键词的匹配度更高,分数更高,排序也更靠前。
数据库的数据导入到CSS Elasticsearch集群 本地或ECS自建MySQL数据库 5.5、5.6、5.7、8.0版本 OpenSearch 1.3.6版本 将MySQL同步到CSS/ES 父主题: 导入数据至OpenSearch集群
表2 使用DRS从数据库导入数据至Elasticsearch 数据导入场景 源数据库 目标Elasticsearch集群 参考文档 将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群 RDS for MySQL 5.5、5.6、5.7、8.0版本
确保MySQL数据库、Logstash集群和Elasticsearch集群在同一时区,否则当同步与时间相关的数据时,同步前后的数据可能存在时区差。
通过读写分离插件实现华为云Elasticsearch集群间数据迁移 通过CSS服务的读写分离插件可以实现华为云Elasticsearch集群间的数据迁移。 应用场景 7.6.2和7.10.2版本的华为云Elasticsearch集群默认安装了CSS服务的读写分离插件,通过配置读写分离可以实现
CSS服务中Kibana是否支持导出数据功能? Elasticsearch 7.6.2、7.9.3和7.10.2版本(镜像版本号小于24.3.0)的Kibana导出数据需要依赖SQL Workbench插件。 在Kibana的“SQL Workbench”里,输入Elasticsearch
OpenSearch支持评分排序,在上面返回结果中,前两条商品信息中同时出现了“春装”和“牛仔裤”,后两条商品信息中只出现了“春装”,所以前两条比后两条与检索关键词的匹配度更高,分数更高,排序也更靠前。
重打分查询 当使用GRAPH_PQ索引或者IVF_GRAPH_PQ索引时,查询结果是根据PQ计算的非对称距离进行排序。CSS支持Rescore的方式对查询结果进行重打分精排,提升召回率。
重打分查询 当使用GRAPH_PQ索引或者IVF_GRAPH_PQ索引时,查询结果是根据PQ计算的非对称距离进行排序。CSS支持Rescore的方式对查询结果进行重打分精排,提升召回率。
内存优化型 1:8 内存较大,优势较明显,在内存使用量较多并且对时延没有太大要求的场景可优先选择该规格,比如多聚合(filedata堆内)、排序、列式存储格式DocValue(系统堆外内存)等场景。 超高IO型 1:8 NVMe接口的本地SSD盘,相比磁盘增强型,数据盘较小。
通过华为云Logstash实现Elasticsearch集群间数据迁移 使用华为云CSS服务的Logstash集群可以实现Elasticsearch集群间的数据迁移。 应用场景 华为云Logstash是一款全托管的数据接入处理服务,兼容开源Logstash的能力,支持用于Elasticsearch
使用SQL语言在OpenSearch中搜索数据 在OpenSearch版本中提供Open Distro for Elasticsearch SQL插件允许您使用SQL而不是Elasticsearch查询域特定语言(DSL)编写查询。 熟悉SQL语言的用户,可以使用SQL语言在OpenSearch
配置Elasticsearch集群存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明显的冷热区分
扩容集群 功能介绍 该接口用于集群扩容实例(仅支持扩容elasticsearch实例)。只扩容普通节点,且只针对要扩容的集群实例不存在特殊节点(Master、Client、冷数据节点)的情况。集群扩容实例的数量和存储容量,请参考扩容实例的数量和存储容量。 调用方法 请参见如何调用API
通过备份与恢复迁移第三方Elasticsearch集群至华为云 通过备份与恢复可以将第三方Elasticsearch集群数据迁移至华为云Elasticsearch集群。 应用场景 通过备份与恢复实现第三方Elasticsearch集群和华为云Elasticsearch集群之间的数据迁移