云搜索服务 CSS-配置Elasticsearch集群存算分离:查询存储冷数据的OBS实时速率

时间:2024-08-28 10:38:41

查询存储冷数据的OBS实时速率

仅2023年02月后创建的Elasticsearch 7.6.2、Elasticsearch 7.10.2和OpenSearch 1.3.6集群支持提升冷数据的查询性能。

为了更清晰的了解到存算分离的插件在OBS中的使用情况, CSS 服务新增了OBS实时速率的统计接口,并且将实时速率记录到系统索引“.freeze_obs_rate-YYYY.mm.dd”中。

OBS实时速率的计算方式:每5秒计算一次,查询前5秒内的平均OBS操作速率。

系统索引“.freeze_obs_rate-YYYY.mm.dd”用于存放OBS操作实时速率和OBS操作数据,便于了解存储冷数据的OBS的操作趋势。该索引的默认保留时间是30天。

  1. 查询存储冷数据的OBS实时速率。
    • 执行如下命令,查询所有节点中存储冷数据的OBS实时速率。
      GET _frozen_stats/obs_rate 
    • 执行如下命令,查询指定节点中存储冷数据的OBS实时速率。
      GET _frozen_stats/obs_rate/{nodeId}

      “{nodeId}”为节点ID。

    响应示例:
    {
       "_nodes" : {
         "total" : 1,
         "successful" : 1,
         "failed" : 0
       },
       "cluster_name" : "elasticsearch",
       "nodes" : {
         "dflDvcSwTJ-fkiIlT2zE3A" : {
           "name" : "node-1",
           "transport_address" : "127.0.0.1:9300",
           "host" : "127.0.0.1",
           "ip" : "127.0.0.1",
           "update_time" : 1671777600482,                            // 当前统计值的更新时间。
           "obs_rate" : {
             "list_op_rate" : 0.0,                                   // obs list操作的速率,单位:次/秒。
             "get_meta_op_rate" : 0.0,                               // obs get meta操作的速率,单位:次/秒。
             "get_obj_op_rate" : 0.0,                                // obs get操作的速率,单位:次/秒。
             "put_op_rate" : 0.0,                                    // obs put操作的速率,单位:次/秒。
             "obs_total_op_rate" : 0.0,                              // obs所有操作的速率,单位:次/秒。    
             "obs_upload_rate" : "0.0 MB/s",                         // obs上传数据的速率,MB/秒。
             "obs_download_rate" : "0.0 MB/s"                        // obs下载数据的速率,MB/秒。
           }
         }
       }
     }
  2. 修改存储OBS实时速率的索引“.freeze_obs_rate-YYYY.mm.dd”的保留时间。索引的默认保留时间是30天。

    执行如下命令,将索引保留时间改成7天。

    PUT _cluster/settings
     {
       "persistent": {
         "low_cost.obs_rate_index.evict_time":  "7d"
       }
     }
    表11 配置项说明

    配置项

    类型

    scope

    是否可动态修改

    说明

    low_cost.obs_rate_index.evict_time

    String

    node

    用于控制索引“.freeze_obs_rate-YYYY.mm.dd”的保留时间。

    • 取值范围:1d~365d。
    • 默认值:30d。
    • 单位:天。
support.huaweicloud.com/usermanual-css/css_01_0113.html