检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Elasticsearch自定义规则排序搜索结果 通过Elasticsearch集群可以对搜索结果进行自定义规则排序。 应用场景 Elasticsearch是一个高度可扩展的开源搜索和分析引擎,支持用户通过自定义规则对搜索结果进行排序。自定义排序允许开发者根据业务需求,定义特定的排序规则,以优化搜索结果的相关性和用户体验。该方案可以用于以下场景:
配置Elasticsearch集群读写分离 场景描述 读写分离支持将写入主集群(Leader)的数据自动同步到从集群(Follower),实现主集群承担写入任务,从集群承担查询任务。读写分离可以将读写压力分开,提高查询的性能。当主集群无法提供服务时,可以通过主从切换使用从集群提供写入和查询服务,保证业务可以正常进行。
服务中,从而更加方便地发现其中的价值。同时您也可以单独使用Logstash云服务处理数据发送到其他的系统中。 介绍视频 产品功能 开源兼容 兼容开源Elasticsearch和OpenSearch软件原生接口,并支持Logstash、Beats、Kibana等周边生态。 接入多种数据源
rebro、开源API、Java、Python和Go客户端,以及通过内网和公网的多种网络配置,用户可根据编程语言偏好和网络环境选择最合适的接入方法。 OpenSearch集群访问方式 导入数据 OpenSearch集群提供多种数据导入方式,包括Logstash、开源Elasticsearch
看监控指标,在集群监控信息页面查看集群的“Search队列中总排队任务数”和“Write队列中总排队任务数”,如果排队任务数值非0表示存在任务堆积。 图2 Write队列中总排队任务数示例 如果集群存在大量的任务堆积,则参考如下步骤优化集群。 在集群的“日志管理”页面查看节点日志
当集群中的节点发生故障时,可以执行“替换指定节点”任务。通过删除故障节点,重建一个一样的新节点,实现节点替换。替换指定节点过程中会将替换节点的数据提前转移,不会造成数据丢失。 前提条件 集群处于“可用”状态,且无正在进行的任务。 在替换指定节点前,建议备份所有关键数据,以免造成数据丢失。
替换OpenSearch集群指定节点 当集群中的节点发生故障时,可以执行“替换指定节点”任务。通过删除故障节点,重建一个一样的新节点,实现节点替换。替换指定节点过程中会将替换节点的数据提前转移,不会造成数据丢失。 前提条件 集群处于“可用”状态,且无正在进行的任务。 在替换指定节点前,建议备份所有关键数据,以免造成数据丢失。
ro、开源API、Java、Python和Go客户端,以及通过内网和公网的多种网络配置,用户可根据编程语言偏好和网络环境选择最合适的接入方法。 Elasticsearch集群访问方式 导入数据 Elasticsearch集群提供多种数据导入方式,包括Logstash、开源Elasticsearch
Logstash开源服务器端实时数据处理管道,支持多个来源采取数据。适用场景多,比如日志数据、监控数据、metric数据等流数据。 JSON、CSV、文本等多种格式 使用自建Logstash导入数据到Elasticsearch 开源Elasticsearch API 使用开源Elasticsearch
Logstash开源服务器端实时数据处理管道,支持多个来源采取数据。适用场景多,比如日志数据、监控数据、metric数据等流数据。 JSON、CSV、文本等多种格式 使用自建Logstash导入数据到OpenSearch 开源OpenSearch API 使用开源OpenSearch
设置自动创建快照策略 功能介绍 该接口用于设置自动创建快照,默认一天创建一个快照。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/index_snapshot/policy 表1 路径参数 参数
日志管理接口 开启日志功能 关闭日志功能 查询日志备份任务列表 查询日志基础配置 修改日志基础配置 开启日志自动备份策略 关闭日志自动备份策略 备份日志 查询日志 连通性测试 父主题: API
management 单个分片查询任务被定义为大查询任务的阈值。 search.isolator.memory.pool.limit search.isolator.memory.heap.limit search.isolator.count.limit 触发隔离池内查询任务中断的阈值。 说明:
CSS服务中如何清理Elasticsearch索引数据? 在清理索引数据前,请谨慎评估索引数据删除后对业务的影响。 自动化定期清理 可以写定时任务调用清理索引的请求,定期执行。CSS支持Opendistro Index State Management,可以参考案例通过索引生命周期实现索引存算分离设置定期清理数据。
X-pack参数配置导致集群不可用 问题现象 “集群状态”为“不可用”,集群的“任务状态”为“配置错误,重启失败”。 图1 集群配置错误 原因分析 集群可能配置了X-pack相关的自定义参数导致集群不可用。CSS服务不支持X-pack功能。 处理步骤 在集群管理页面,单击不可用的集群名称,进入集群基本信息页面。
Elasticsearch集群内核支持的监控指标 表1 集群内核支持的监控指标 指标名称 描述 支持的集群版本 相关文档 search请求的P99时延 开源Elasticsearch在监控search请求时仅提供了平均延迟指标,这不足以准确反映集群的实际搜索性能。为了改进这一点,CSS服务新增
ch集群的数据。 步骤3:配置迁移任务:在Logstash集群配置Elasticsearch集群的迁移任务。 步骤4:启动迁移任务:在Logstash集群启动配置好的迁移任务。 步骤5:停止任务:当数据迁移完成,不再需要迁移任务时,您可以停止任务。 步骤6:删除集群:无需继续使用集群时,可删除集群释放资源。
原因分析 排查集群的写入和查询队列,查看是否有大量任务堆积。 GET /_cat/thread_pool/write?v GET /_cat/thread_pool/search?v 查看集群监控,排查集群的写入和查询任务相关指标。 如果集群长期处于高堆内存占用状态,查看集群节点个数、节点规模,确认是否需要扩容。
200 表2 响应Body参数 参数 参数类型 描述 topicsName Array of strings 主题名称 请求示例 获取智能运维任务列表及详情。 GET /v1.0/6204a5bd270343b5885144cf9c8c158d/clusters/4f3deec3-e
节点替换 安全模式修改 添加独立master、client 集群内核升级 获取可升级的目标镜像ID 获取集群升级或切换AZ的详情信息 重试升级失败任务 切换安全组 切换集群实例AZ 创建集群V2 重启集群V2 滚动重启 父主题: API