检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
index_threads": 8 } } 查询性能优化 在批量导入场景下,数据写入完成后,执行forcemerge操作能有效提升查询效率。 POST index_name/_forcemerge?max_num_segments=1 如果向量索引所需堆外内存超过了熔断线,查询时索引的缓存管理器会控制
配置Elasticsearch集群大查询隔离 场景描述 大查询隔离支持对查询请求进行独立管理,将高内存、长耗时的查询请求进行隔离,保证节点内存安全。在节点堆内存使用率过高时,触发中断控制程序,根据选择的中断策略将其中一条大查询请求进行中断,取消其正在运行的查询任务。大查询隔离同时支持全局查询超时配置,用
如何查看Elasticsearch和OpenSearch集群的系统默认插件列表 云搜索服务的Elasticsearch和OpenSearch集群自带系统默认插件。可以通过控制台查看或在Kibana/OpenSearch Dashboards查询系统默认插件信息。 通过控制台查看 登录云搜索服务管理控制台。
date_histogram_agg % 0 0 0 0 0 0 0 0 0 - 测试结论 在集群配置相同的情况下,开启聚合增强后,聚合性能显著提升,查询吞吐量提升2.5倍以上,查询时延下降60%以上。 父主题: 增强Elasticsearch集群搜索能力
"tip"] 查询存储在OBS中冷数据的缓存状态 冻结索引之后,当冷数据第一次被查询时,系统会自动进行数据缓存,集群支持查询存储在OBS中冷数据的缓存状态。当需要调试集群性能时,也可以重置缓存状态。 查询节点中存储在OBS中冷数据的缓存状态。 执行如下命令,查询所有节点中冷数据的缓存信息。
e-path为“/v3.0/OS-USER/users”。 query-string 查询参数,可选,查询参数前面需要带一个“?”,形式为“参数名=参数取值”,例如“limit=10”,表示查询不超过10条数据。 例如您需要创建IAM用户,由于IAM为全局服务,则使用任一区域的E
"tip"] 查询存储在OBS中冷数据的缓存状态 冻结索引之后,当冷数据第一次被查询时,系统会自动进行数据缓存,集群支持查询存储在OBS中冷数据的缓存状态。当需要调试集群性能时,也可以重置缓存状态。 查询节点中存储在OBS中冷数据的缓存状态。 执行如下命令,查询所有节点中冷数据的缓存信息。
在云搜索服务管理控制台的总览页面,可以查看云搜索服务的资源监控和告警。 查看资源告警 在总览页面查看CSS服务的告警信息。 登录云搜索服务管理控制台。 在左侧导航栏选择“总览”,在“告警”模块查看告警信息。 图1 告警信息 单击“全部”,在“告警记录”弹窗中查看详细告警信息。 鼠标悬停在资源名称上,会显示告警情况。
B÷目的集群索引shard个数)x索引个数 评估公式是基于理想状态下(即单节点以最快速度40MB/s传输)的迁移时长,实际迁移时长还会受到网络、资源等因素影响。 前提条件 目标集群(Es-2)和源集群(Es-1)处于可用状态。建议在业务空闲期进行集群迁移。 确认目标集群(Es-2
Client客户端版本建议也是7.6.2。 准备工作 CSS集群处于可用状态。 确保运行Java代码的服务器与CSS集群的网络是互通的。 根据集群选择的网络配置方式,获取集群的访问地址,具体操作请参见网络配置。 确认服务器已安装JDK1.8,JDK1.8官网下载地址:http://www.oracle.
主集群承担写入任务,从集群承担查询任务。读写分离可以将读写压力分开,提高查询的性能。当主集群无法提供服务时,可以通过主从切换使用从集群提供写入和查询服务,保证业务可以正常进行。 图1 读写分离特性的两种使用场景 场景一(图左):主集群写入,从集群查询,分离读写压力。 场景二(图右
在Cerebro中查看集群的分片数、各节点的cpu、load、head、dis等数据指标。 根据指标分析可能出现的原因,针对性优化。 增加队列数,减少拒绝作业,修改参数write.queue_size取值。 单击需要修改参数的集群名称,进入集群基本信息页面。 选择“参数配置”,查找write
段数,默认值为0,插件自动根据向量长度设置合适的段数。 查询参数 ef 查询时考察邻居节点的队列大小。值越大查询精度越高,查询速度会变慢。默认值为200。 max_scan_num 扫描节点上限。值越大精度越高,查询速度变慢。默认值为10000。 topk 查询时返回top k条数据。 脚本“base_test_example
Integer 自定义设置快照保留的个数,范围是1~90。系统在半点时刻会自动删除超过保留个数的快照。过期删除策略只针对与当前自动创建快照策略相同执行频次的自动快照。 frequency 否 String 自动创建快照的执行频次。 说明: 默认值DAY,取值HOUR时,表示每小时整点
在OpenSearch版本中提供Open Distro for Elasticsearch SQL插件允许您使用SQL而不是Elasticsearch查询域特定语言(DSL)编写查询。 熟悉SQL语言的用户,可以使用SQL语言在OpenSearch中搜索数据。 SQL使用示例 在Kibana中使用SQL语言搜索数据(推荐)
如果集群存在大量的任务堆积,则参考如下步骤优化集群。 在集群的“日志管理”页面查看节点日志,查看节点在OOM前是否存在大量慢查询日志记录,分析查询是否会对节点造成压力导致节点内存不足,如果存在则根据业务实际情况优化查询语句。 在集群的“日志管理”页面查看节点日志,查看节点日志是否有“Inflight circuit
4及之后版本中提供Open Distro for Elasticsearch SQL插件允许您使用SQL而不是Elasticsearch查询域特定语言(DSL)编写查询。 熟悉SQL语言的用户,可以使用SQL语言在Elasticsearch中搜索数据。 SQL使用示例 在Kibana中使用SQL语言搜索数据(推荐)
已经在SMN服务管理控制台创建完成了用于发送告警消息的主题,具体操作请参见创建主题。 已获取CSS服务的管理员账号,并确认该账号具有CSS服务权限及IAM查看委托列表、创建委托及给委托授权的权限。 授权使用SMN服务 通过CSS服务的管理员账号登录云搜索服务管理控制台。 在左侧导航栏选择“服务授权”。
排查集群的写入和查询队列,查看是否有大量任务堆积。 GET /_cat/thread_pool/write?v GET /_cat/thread_pool/search?v 查看集群监控,排查集群的写入和查询任务相关指标。 如果集群长期处于高堆内存占用状态,查看集群节点个数、节点规模,确认是否需要扩容。
集群任务被长时间拒绝,且大量任务出现卡死的情况,在Cerebro界面可以看到集群的load数值突然飙升。 原因分析 集群出现load升高的可能原因如下: 查询请求命中的数据较多导致查询线程执行缓慢。 写入压力过大导致很多线程出现卡死现象。 排查步骤 方法1:Cerebro工具 登录云搜索服务管理控制台。 左侧导航栏,选择“集群管理