检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看CSS集群的分片数以及副本数? 登录云搜索控制台。 在集群管理页面,选择需要查看的集群操作列的Kibana。 登录Kibana界面,选择Dev Tools。 在Dev Tools的Console界面中执行GET _cat/indices?v命令,查询集群分片数和副本数。
在Kibana操作页面,执行如下命令查看Elasticsearch索引副本数量。 GET _cat/indices?v 图1 查看副本数量 执行如下命令配置索引副本数量。
单节点集群打开Cerebro界面显示告警 原因分析 单节点集群索引默认有副本,但是副本无法下发请求,所以显示告警。 解决方案 在Kibana的“Dev Tools”页面,执行以下命令将索引副本数量修改为“0”。
Replica(副本) Shard下的实际存储索引的一个副本。可以理解为备份Shard。副本的存在可以预防单节点故障。使用过程中,您可以根据业务情况增加或减少Replica数量。 文档 Elasticsearch存储的实体,是可以被索引的基本单位,相当于关系型数据库中的行。
业务影响 单节点使用率超过85%:无法为新副本分配空间,但是新的主分片仍然可以被分配,从而确保业务操作的连续性不受影响,然而,集群的高可用性上有风险。 单节点使用率超过90%:系统将自动触发分片迁移机制,将该节点上的分片重新分配至磁盘使用率较低的其他数据节点。
支持用户认证与索引级别鉴权,支持对接第三方管理用户系统。 数据安全 在云搜索服务中,通过多副本机制保证用户的数据安全。 支持客户端与服务端通过SSL加密通信。 操作审计 通过云审计服务支持对关键日志与操作进行审计。 高可用性 云搜索服务支持跨可用区部署方案。
图1 CSS.0073错误 图2 CSS.0011错误 原因分析 当前集群未设置副本数,后台拦截了更改规格的请求。需要设置好副本数,再进行更改规格操作,否则会有分片丢失的风险。
当变更节点规格时,需要确认是否勾选“进行索引副本校验”和“检测集群状态”。 当变更磁盘类型时,需要确认是否勾选“检测集群负载”。 表3 检测项说明 检测项 说明 索引副本校验 索引副本校验用于保证索引正常提供服务。
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。
策略定义:当索引的大小达到1TB或索引创建超过1天时,自动进行滚动;当索引创建7天后,关闭数据副本;当索引创建30天后,删除该索引。
返回结果中显示索引名称“index” 和未分配解释“explanation” : “primary shard for this replica is not yet active”,表示分片副本未激活。 图1 索引分片未分配 尝试修改该索引的配置,执行命令将其副本数置为0。
策略定义:当索引的大小达到1TB或索引创建超过1天时,自动进行滚动;当索引创建7天后,关闭数据副本;当索引创建30天后,删除该索引。
CSS服务中如何配置Elasticsearch索引副本数量? CSS服务中Elasticsearch集群分片过多会有哪些影响? 如何查看CSS集群的分片数以及副本数? CSS服务中Elasticsearch集群的节点node.roles为i表示什么意思?
当变更节点规格时,需要确认是否勾选“进行索引副本校验”和“检测集群状态”。 当变更磁盘类型时,需要确认是否勾选“索引副本校验”和“检测集群负载”。 表3 检测项说明 检测项 说明 索引副本校验 索引副本校验用于保证索引正常提供服务。
关闭副本 数据写入与查询错峰执行,在数据写入时关闭数据副本,待数据写入完成后再开启副本。
检测集群索引是否开启副本,未设置副本的索引在节点发生故障后可能导致索引不可用,本地盘集群未设置副本会有数据丢失的风险。 检测集群是否存在kibana索引冲突。 检测节点磁盘用量百分比,节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。
检测集群索引是否开启副本,未设置副本的索引在节点发生故障后可能导致索引不可用,本地盘集群未设置副本会有数据丢失的风险。 检测集群是否存在kibana索引冲突。 检测节点磁盘用量百分比,节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。
图中的P表示主分片Primary,R表示副本分片Replica,主副分片在数据节点Node里是随机分配的,但是不能在同一个节点里。 客户端向Node1发送查询请求,此时Node1为协调节点。
解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个合适的阈值),另外被rejected的http请求ES-Hadoop是有重试机制的,可修改以下参数: “es.batch.write.retry.count”:默认重试3次。