检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取集群ID的接口为“GET https://{Endpoint}/v1.0/{project_id}/clusters”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取;项目ID参见获取项目ID;接口的认证鉴权请参见认证鉴权。
计费样例 计费场景 某用户于2023/03/18 15:30:00购买了一个Elasticsearch类型的按需计费集群,规格配置如下: 节点规格:ess.spec-4u8g 节点存储:普通I/O,40GB Kibana公网访问带宽:6Mbit/s 用了一段时间后,用户发现集群当前规格无法满足业务需要
表1 Elasticsearch和OpenSearch集群的节点限制 集群的节点数量 限制 每个集群的最大节点数量 默认值32,最大支持200个节点,如果需要更改默认值,请联系技术支持。
确认集群是否启用“负载均衡”,如果启用了,则先关闭集群的“负载均衡”,待安全模式变更完成后再开启“负载均衡”。避免变更过程中造成通过负载均衡实例访问集群异常。 约束限制 2022年11月之后创建的集群(且集群版本不小于6.5.4)才支持切换安全模式。
单节点分片数:为了避免单点过载,建议每个节点上的分片数量不超过1000个。这有助于避免节点资源竞争,确保节点的稳定运行。 索引分片与节点数的关系:对于单个索引,建议其分片数与集群的节点数保持一致,或者设置为节点数的整数倍。这有助于实现负载均衡,优化查询和索引的性能。
确认集群是否启用“负载均衡”,如果启用了,则先关闭集群的“负载均衡”,待安全模式变更完成后再开启“负载均衡”。避免变更过程中造成通过负载均衡实例访问集群异常。 约束限制 2022年11月之后创建的集群(且集群版本不小于6.5.4)才支持切换安全模式。
升级过程中,存在节点替换的过程,此时如果有请求发送到替换中的节点,请求可能会失败。为防止该情况出现,建议通过终端节点服务或者独享型负载均衡器接入集群进行访问。 升级过程中会重建Kibana和Cerebro组件,重建过程中,Kibana和Cerebro可能会访问失败。
基本概念 集群 云搜索服务是以集群为单位进行组织,一个集群代表一个独立运行的搜索服务,由多个节点构成。 索引 用于存储Elasticsearch的数据,是一个或多个分片分组在一起的逻辑空间。 Shard 索引可以存储数据量超过1个节点硬件限制的数据。
折扣套餐包购买成功后系统不会自动创建集群,您需要前往云搜索服务管理控制台创建与折扣套餐包中区域、节点规格、节点存储类型或带宽类型相同的集群才能使用该折扣套餐。创建集群的具体操作步骤请参见创建Elasticsearch集群。
重建索引,使分片数大于集群节点数。 如果分片数和队列大小都满足条件,但是cpu和负载依然比较高,建议扩容节点。 父主题: 数据导入导出类
部分查询占用了很高的节点堆内存,导致机器频繁Garbage Collect,甚至引发OOM异常。 频繁Garbage Collect导致节点脱离,查询迟迟无法响应甚至失败。 查询量过大导致CPU爆满,线上业务受到影响。
单个节点的快照速度默认是40MB/s,同时,快照的性能还受集群情况影响,如果此时集群负载较高,耗时将会更久。可以通过上述章节的查询单个快照信息查询正在执行的快照情况。
处理步骤 如果集群长期处于高负载状态,则集群会存在写入、查询缓慢等情形,建议根据业务需要升级节点规格或者对集群节点的数量和存储容量进行扩容,使集群更好的满足业务需求。升级节点规格、扩容节点数量和节点存储容量的指导请参见扩容Elasticsearch集群。
totalNodes String 参数解释: 所有需要升级或者切换AZ的节点名称集合。 completedNodes String 参数解释: 所有升级或者切换AZ完成的节点名称集合。
- 1) 参数值应设置稍微大一些,假设集群有10个节点,其中5个数据节点,2个client节点,3个master节点,有个索引的分片数为30,如果将total_shards_per_node值设为4,能分配的shard总数只有4*5=20,分片无法完全分配。
如果集群长期处于高堆内存占用状态,查看集群节点个数、节点规模,确认是否需要扩容。 解决方案 根据任务堆积现象优化客户端写入或查询程序。 根据业务情况,如果集群长期处于高负载状态,则集群会存在写入、查询缓慢,节点频繁掉线等情况。需要根据需要扩容节点规模,或分业务重新规划集群规模。
inst_type 是 String 待切换AZ的节点类型。支持: all:所有节点类型。 ess: 数据节点。 ess-cold: 冷数据节点。 ess-client: Client节点。 ess-master: Master节点。
集群索引插入数据失败 问题现象 向CSS集群索引中插入数据失败,报错如下: 问题分析 当磁盘的使用率超过95%时,Elasticsearch为了防止节点耗尽磁盘空间,自动将索引设置为只读模式。
仅支持同一个Elasticsearch引擎版本下的节点规格变更。
检测节点磁盘用量百分比,节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。 检测集群数据节点/冷数据节点的存储用量是否均衡,不均衡的存储用量分布可能导致集群负载不均,读写延迟增加。 连续5分钟检测当前集群是否有节点脱离或不可用。