云搜索服务 CSS-配置Elasticsearch集群读写流量控制策略2.0:场景描述

时间:2024-10-26 16:09:32

场景描述

流量控制2.0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTPS并发连接数限制、HTTP最大连接数限制,基于节点内存的客户端写入流量反压控制,一键断流能力。同时也提供节点访问IP统计和URL的统计能力。开启客户端写入流量反压控制功能,会在节点堆内存过大时阻止大请求涌入节点占用内存,避免节点崩溃,减少节点不可用的风险。

表1 流量控制策略

策略

描述

相关文档

HTTP/HTTPS流控

  • HTTP/HTTPS黑白名单设置IP和子网控制客户端IP访问,如果节点IP在黑名单中,则该客户端的连接将直接中断,节点不会处理任何请求。白名单规则优先于黑名单规则,如果客户端IP在黑白名单中都出现,客户端请求将不会被拒绝。
  • HTTP/HTTPS并发连接数流控通过限制节点每秒中的HTTP连接总数来限制节点流量。
  • HTTP/HTTPS新建连接数流控通过限制节点新建的连接数来限制节点流量。

开启HTTP/HTTPS节点流控

内存流控

基于节点堆内存使用量限制写入流量,将请求需要读取的内容反压在客户端,暂停请求的接收。同时尽力触发垃圾回收,按堆内存的空闲量继续读取请求。

开启内存流控

请求采样统计

可以记录客户端IP的访问和客户端的请求类型,用户可以基于统计值识别客户端IP的访问流量,分析当前客户端的写入和查询访问量。

开启请求采样统计

一键断流

可以切断节点的所有客户端连接,不包括Kibana访问和 CSS 后台运维、监控类接口。用于应对突发流量场景下的集群异常,达到快速恢复集群的目的。

开启一键断流

流量控制

提供单独的流量统计接口,记录当前客户端连接数以及客户端反压连接数,用户可以基于统计值评估流控配置阈值和衡量集群压力。

查看流量控制信息

访问日志

可以记录一段时间内节点接收的HTTP/HTTPS请求URL和Body,用户可以基于访问日志信息分析当前的流量压力。

开启并查看访问日志

访问日志记录

客户端访问集群节点,会记录为{集群名_access_log.log}访问日志文件,通过日志备份功能可以在OBS详细查看访问日志。

开启访问日志记录到文件

support.huaweicloud.com/usermanual-css/css_01_0192.html