云搜索服务 CSS-OpenSearch集群规划建议:规划节点数量

时间:2024-08-28 10:38:40

规划节点数量

创建集群时,集群的节点数量应当基于业务性能需求和预期负载进行规划。表5提供了计算方式用以确定合适的节点数量。通过这个计算方式可以更科学地规划集群的节点数量,以满足业务需求并保证集群的性能和稳定性。

表5 节点数量的计算方式

节点

性能基线

节点数量计算方式

示例

写入节点

  • 对于挂载云盘的节点,其单核写入性能基线为1MB/s。
  • 对于超高IO型的节点,其单核写入性能基线为1.5MB/s。

写入节点数=业务峰值时的流量÷单节点的核数÷单核写入性能基线x副本数

业务峰值写入100MB/s,使用16u64g的节点,预计需要100÷16÷1x2=12个节点。

查询节点

相同节点,不同业务场景下的性能差异非常大,单节点的性能基线难以评估。这里以业务平均查询响应时间(单位为秒)作为查询的性能基线进行测算。

查询节点数=QPS÷(单节点的核数x3÷2÷平均查询响应时间)x分片数量

查询QPS要求1000,平均查询响应时间100ms,索引规划3个分片,使用16u64g的节点,预计需要1000÷(16x3÷2÷0.1)x3=12个节点。

总节点数量

不涉及

总节点数量=写入节点数+查询节点数

总节点数=写入节点数+查询节点数=24个节点数。

说明:

这里计算的总节点数量表示数据节点和冷数据节点的数量之和。

当一个集群包含的节点类型不同时,各节点类型支持的节点数量不同,设置节点数量时可以参考表6

表6 集群的节点数量取值说明

一个集群包含的节点类型

节点数量的取值范围

ess

ess:1~32

ess、ess-master

ess:1~200

ess-master:3~9的奇数

ess、ess-client

ess:1~32

ess-client:1~32

ess、ess-cold

ess:1~32

ess-cold:1~32

ess、ess-master、ess-client

ess:1~200

ess-master:3~9的奇数

ess-client:1~32

ess、ess-master、ess-cold

ess:1~200

ess-master:3~9的奇数

ess-cold:1~32

ess、ess-client、ess-cold

ess:1~32

ess-client:1~32

ess-cold:1~32

ess、ess-master、ess-client、ess-cold

ess:1~200

ess-master:3~9的奇数

ess-client:1~32

ess-cold:1~32

说明:
  • ess:数据节点,即创建集群时必配的节点类型,其他3种节点类型都是基于业务需要可选的类型。
  • ess-master:Master节点。
  • ess-client:Client节点。
  • ess-cold:冷数据节点。
support.huaweicloud.com/usermanual-css/css_01_0028.html