云搜索服务 CSS-华为云

云搜索服务 CSS-配置Elasticsearch集群内核监控:监控HTTP状态码

监控HTTP状态码根据集群版本选择监控HTTP状态码的命令。 Elasticsearch 7.6.2集群执行如下命令，获取HTTP状态码统计。 GET /_nodes/http_stats 返回样例: { "_nodes" : { "total" : 1, "successful" : 1, "failed" : 0 }, "cluster_name" : "css-8362", "nodes" : { "F9IFdQPARaOJI7oL7HOXtQ" : { "http_code" : { "200" : 114, "201" : 5, "429" : 0, "400" : 7, "404" : 0, "405" : 0 } } } } Elasticsearch 7.10.2集群执行如下命令，获取HTTP状态码统计。 GET _nodes/stats/http 返回样例: { ...... "cluster_name" : "css-2985", "nodes" : { ...... "omvR9_W-TsGApraMApREjA" : { ...... "http" : { "current_open" : 4, "total_opened" : 37, "http_code" : { "200" : 25, "201" : 7, "429" : 0, "400" : 3, "404" : 0, "405" : 0 } } } } }

云搜索服务 CSS

云搜索服务 CSS-配置Elasticsearch集群内核监控:监控P99时延

监控P99时延执行以下命令，获取当前集群的P99时延。 GET /search/stats/percentile 返回示例如下： { "overall" : { "1.0" : 2.0, "5.0" : 2.0, "25.0" : 6.5, "50.0" : 19.5, "75.0" : 111.0, "95.0" : 169.0, "99.0" : 169.0, "max" : 169.0, "min" : 2.0 }, "last_one_day" : { "1.0" : 2.0, "5.0" : 2.0, "25.0" : 6.5, "50.0" : 19.5, "75.0" : 111.0, "95.0" : 169.0, "99.0" : 169.0, "max" : 169.0, "min" : 2.0 }, "latest" : { "1.0" : 26.0, "5.0" : 26.0, "25.0" : 26.0, "50.0" : 26.0, "75.0" : 26.0, "95.0" : 26.0, "99.0" : 26.0, "max" : 26.0, "min" : 26.0 } } 表2 返回参数说明参数说明 overall 表示集群从启动到当前时间的统计数值。 last_one_day 表示最近一天的统计数值。 latest 表示从上次重置到当前时间的统计数值。 P99时延的计算是近似值，不提供精确值，越靠近两端的统计值越准确，即99%的时延比50%的时延更准确。当重启集群时，P99时延的数据将被清空，会从集群重启成功后重新计算。监控集群P99时延的命令还可以设置其他配置项。可以自定义监控的百分百数值。例如执行如下命令，显示1%、50%和90%的时延数据。 GET /search/stats/percentile { "percents": [1, 50, 90] } 支持手动重置latest统计值。执行以下命令，重置latest统计值。 POST /search/stats/reset 如下所示，返回“ok”，表示重置成功。 { "nodes" : { "css-c9c8-ess-esn-1-1" : "ok" } }

云搜索服务 CSS

云搜索服务 CSS-配置Elasticsearch集群内核监控:场景描述

场景描述表1 集群内核监控介绍集群内核监控增强描述支持的集群版本相关文档 P99时延监控开源Elasticsearch在监控search请求时仅提供了平均延迟指标，这不足以准确反映集群的实际搜索性能。为了改进这一点， CSS 服务新增了P99延迟监控特性，能够有效地监控集群search请求的第99百分位延迟。 Elasticsearch 7.6.2、Elasticsearch 7.10.2、监控P99时延 HTTP状态码通过HTTP对Elasticsearch的访问会收到响应和相应的状态码，但开源的Elasticsearch原生不支持对这些状态码进行统计，导致无法精确掌握接口调用的具体状况，用户也无法通过监控了解集群的整个请求情况。为了改进这一点， CS S服务新增了HTTP状态码监控功能，能够获取HTTP状态码统计信息。 Elasticsearch 7.6.2、Elasticsearch 7.10.2、监控HTTP状态码

云搜索服务 CSS

云搜索服务 CSS-配置Elasticsearch集群存算分离:提升冷数据的查询性能

提升冷数据的查询性能仅2023年02月后创建的Elasticsearch 7.6.2、Elasticsearch 7.10.2和OpenSearch 1.3.6集群支持提升冷数据的查询性能。在Kibana的Discover页面首次查询冷数据时，由于此时无任何缓存，导致所有数据均需要从OBS上获取，当命中的数据较多时，需要耗费大量的时间从OBS上获取对应的时间字段以及文件元数据。如果将这一部分数据直接缓存在本地，即可大幅提升查询性能，解决Discover页面首次查询慢的问题。云搜索服务就是通过冷数据的本地缓存，实现冷数据的查询性能提升。本地缓存配置是预置的，用户可以基于业务场景修改配置，也可以查询、了解本地缓存信息。修改冷数据的本地缓存配置。表10 本地缓存配置项说明配置项类型 scope 是否可动态修改说明 low_cost.local_cache.max.capacity Integer node 是节点上，能够打开的冷数据缓存的最大数量。（每个shard对应一个缓存对象）取值范围：10~5000 默认值：500 说明：当堆内存使用率一直很高时，可以尝试降低该值。当查询冷数据本地缓存的相关统计指标中load_overflow_count数值一直持续快速增加时，建议调大该值。 index.low_cost.local_cache.threshold Integer index 是启用冷数据本地缓存的阈值。当date类型字段的占比小于此值时，启用冷数据本地缓存date类型字段。否则不使用。如果当前索引的date类型字段占据当前索引的绝大部分数据量，则不建议使用此功能。单位：% 取值范围：0~100 默认值：50 index.low_cost.local_cache.evict_time 字符串 index 是冷数据的本地缓存的淘汰时间，当缓存时间大于该值，缓存将被删除。根据index.frozen_date（冻结成功的时间）判定，当索引无index.frozen_date时，则根据索引创建时间判定。单位：天取值范围：1d~365d 默认值：30d 说明：建议根据磁盘用量调整淘汰时长，节省磁盘空间。执行如下命令，修改“low_cost.local_cache.max.capacity”。 PUT _cluster/settings { "persistent": { "low_cost.local_cache.max.capacity":1000 } } 执行如下命令，修改“index.low_cost.local_cache.threshold”。 PUT es_write_pref2-00000000021/_settings { "index.low_cost.local_cache.threshold":20 } 执行如下命令，修改“index.low_cost.local_cache.evict_time”。 PUT es_write_pref2-00000000021/_settings { "index.low_cost.local_cache.evict_time":"7d" } 查询冷数据的本地缓存信息。执行如下命令，查询所有节点中冷数据的本地缓存相关指标。 GET /_frozen_stats/local_cache 执行如下命令，查询指定节点中冷数据的本地缓存相关指标。 GET /_frozen_stats/local_cache/{nodeId} “{nodeId}”为节点ID。返回结果如下： { "_nodes" : { "total" : 1, "successful" : 1, "failed" : 0 }, "cluster_name" : "elasticsearch", "nodes" : { "6by3lPy1R3m55Dcq3liK8Q" : { "name" : "node-1", "transport_address" : "127.0.0.1:9300", "host" : "127.0.0.1", "ip" : "127.0.0.1", "local_cache" : { "get_stats" : { "get_total_count" : 562, //从冷数据本地缓存查询数据的总次数 "get_hit_count" : 562, //从冷数据本地缓存查询数据命中的次数 "get_miss_count" : 0, //从冷数据本地缓存查询数据未命中的次数 "get_total_ns" : 43849200, //从冷数据本地缓存查询数据的总时长 "get_avg_ns" : 78023 //从冷数据本地缓存查询数据的平均时长 }, "load_stats" : { "load_count" : 2, //加载冷数据本地缓存的次数 "load_total_ms" : 29, //加载冷数据本地缓存的总时长 "load_avg_ms" : 14, //加载冷数据本地缓存的平均时长 "load_fail_count" : 0, //加载冷数据本地缓存的失败次数 "load_overflow_count" : 0 //加载冷数据本地缓存时超过缓存池的次数 }, "reload_stats" : { "reload_count" : 0, //重新生成冷数据本地缓存的次数 "reload_total_ms" : 0, //重新生成冷数据本地缓存的总时长 "reload_avg_ms" : 0, //重新生成冷数据本地缓存的平均时长 "reload_fail_count" : 0 //重新生成冷数据本地缓存的失败次数 }, "init_stats" : { "init_count" : 0, //初始化冷数据本地缓存的次数 "init_total_ms" : 0, //初始化冷数据本地缓存的总时长 "init_avg_ms" : 0, //初始化冷数据本地缓存的平均时长 "init_fail_count" : 0 //初始化冷数据本地缓存的失败次数 } } } } }