检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
https://ip:9200/_all(“password”为admin账号的密码,“ip”为集群的内网访问地址)删除所有索引时,报错“403 Forbidden”。 解决方案 安全模式的集群中索引“.opendistro_security”无法被删除,所以删除所有索引的命令对安全集群无效。建议使用索引名称或者通配符进行删除,不要使用全删除命令。
Elasticsearch的索引组成 查询性能优化 基于Elasticsearch的数据查询流程分析,有以下几种性能优化方案。 表1 查询性能优化 优化方案 方案说明 通过routing减少检索扫描的分片数 在数据入库时指定routing值,将数据路由到某个特定的分片,查询时通过该
kibana/_settings命令查询kibana索引的状态,如果状态为“true”,说明集群磁盘过高。 问题原因 索引置为只读状态导致。 解决方案 将kibana索引只读状态改为“false”后再执行创建index pattern。 在kibana的“Dev Tools”页面,执行如下命令:
原因分析 之前创建的索引模式无法删除索引模式是因为kibana索引只读导致的,磁盘使用率超过一定阈值会自动转为只读,所以报错没有权限。 解决方案 在Kibana的“Dev Tools”页面,执行以下命令解除Kibana索引只读状态。 PUT .kibana*/_settings {
大于5Mbit/s:按每Mbit/s计费 请参见云搜索服务价格计算器中的“带宽价格”。 图2给出了上述示例配置的费用计算过程。 图中价格仅供参考,实际计算请以云搜索服务价格计算器中的价格为准。 图2 包年/包月集群费用计算示例 变更配置后对计费的影响 当前包年/包月集群的规格不满足
问题原因 由于节点shard数量超过最大值限制,ES默认每个节点的shard数量是1000,如果shard数量超过这个值创建索引会报错。 解决方案 关闭或者删除不用的索引,减少shard数量。 修改节点的shard数量的限制。 PUT _cluster/settings { "persistent":
max_buckets”的值来允许更多的bucket返回。但是需要注意,增加“search.max_buckets”的值也会增加集群的负载和内存使用,因此需要谨慎使用。 解决方案 在Kibana的“Dev Tools”页面执行如下命令: PUT _cluster/settings { "persistent":
CSS服务中如何设置Elasticsearch集群的默认分页返回最大条数? 解决方案 方法1: 打开Kibana,在DevTools界面执行如下命令: PUT _all/_settings?preserve_existing=true { "index.max_result_window"
大于5Mbit/s:按每Mbit/s计费 请参见云搜索服务价格计算器中的“带宽价格”。 图2给出了上述示例配置的费用计算过程。 图中价格仅供参考,实际计算请以云搜索服务价格计算器中的价格为准。 图2 按需计费集群费用计算示例 变更配置后对计费的影响 如果您在购买按需计费集群后变更了
%内存,另外50%内存会被Lucene用于缓存文件,因此节点内存占用会一直很高,平均已用内存比例达到98%是正常现象,请您放心使用。 解决方案 您可以关注“最大JVM堆使用率”和“平均JVM堆使用率”这两个指标来监控集群内存使用情况。 父主题: CSS集群监控与运维
原因分析 安全集群,默认有一个“. opendistro_security”索引,不可执行写操作,修改索引读写模式时要忽略掉这个索引。 解决方案 使用通配符进行匹配,将indexname用通配符代替。 PUT indexname/_settings { "index": { "blocks":
并且数据需要更新的场景。 超高I/O型 (CPU架构为鲲鹏计算) 本地盘 挂载SSD盘 适用大型日志场景,用于存储热数据。 超高I/O型 (CPU架构为X86计算) 本地盘 挂载SSD盘 适用大型搜索与分析场景,场景对计算或磁盘I/O均有较高要求,例如舆情分析、专利检索、以及部分数据库加速场景。
8,分布极不均匀。 解决方案 如果问题是由分片数据量过大导致。 分片大小可以通过index模板下的“number_of_shards”参数进行配置。 模板创建完成后,再次新创建索引时生效,旧的索引不能调整。 如果问题是由分片数分布不均匀导致。 临时解决方案: 可以通过如下命令设置“routing
推荐采用云搜索服务的向量检索功能。该功能依托于CSS自主研发的向量搜索引擎,并利用Elasticsearch的插件架构进行了深度集成,为用户提供了一种高效、低成本的解决方案,旨在满足包括但不限于高性能、高精度和多模态在内的多样化高维向量检索需求。更多信息请参见向量检索。 仅Elasticsearch 7.6.2、Elasticsearch
entries"异常 问题分析 Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列,超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个合适的阈值),另外被rejected的http请求ES-Hadoop是有重试机制的,可修改以下参数:
文档插入Elasticsearch的流程 写入性能优化 基于Elasticsearch的数据写入流程分析,有以下几种性能优化方案。 表1 写入性能优化 优化方案 方案说明 使用SSD盘或升级集群配置 使用SSD盘可以大幅提升数据写入与merge操作的速度,对应到CSS服务,建议选择“超高IO型”存储,或者超高IO型主机。
并且数据需要更新的场景。 超高I/O型 (CPU架构为鲲鹏计算) 本地盘 挂载SSD盘 适用大型日志场景,用于存储热数据。 超高I/O型 (CPU架构为X86计算) 本地盘 挂载SSD盘 适用大型搜索与分析场景,场景对计算或磁盘I/O均有较高要求,例如舆情分析、专利检索、以及部分数据库加速场景。
node,所有节点都是Coordinating node分摊来客户端请求吗? 如果没有ingest业务时,那么客户端节点是不是就处于空闲状态? 解决方案 集群节点的“node.roles”为“i”时,表示集群的客户端节点上启用了ingest节点模式。 Elasticsearch的“coordinating
自动续费 自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致集群被自动删除。自动续费的规则如下所述: 以集群的到期日计算第一次自动续费日期和计费周期。 集群自动续费周期根据您开通自动续费的途径不同,遵循不同的规则。 在集群到期前均可开通自动续费,到期前7日凌晨3:00首
v 查看集群监控,排查集群的写入和查询任务相关指标。 如果集群长期处于高堆内存占用状态,查看集群节点个数、节点规模,确认是否需要扩容。 解决方案 根据任务堆积现象优化客户端写入或查询程序。 根据业务情况,如果集群长期处于高负载状态,则集群会存在写入、查询缓慢,节点频繁掉线等情况。需