检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CES中Logstash集群支持的监控指标 云监控服务CES支持实时监控云搜索服务集群的核心指标，方便用户掌握集群的指标信息，以便及时处理集群的异常状况。 功能说明 本节定义了云搜索服务上报云监控服务的监控指标的命名空间，监控指标列表和维度定义。用户可以通过云监控服务提供管理控制
假设某个索引，其每天约产生2.4TB的数据，索引别名“log-alias”，其数据在Elasticsearch中的组织形态如下图所示。查询时，指向所有test开头的索引；写入时，指向最新的索引。 图1 log-alias的组织形态 索引的滚动条件1天是以索引的创建时间来计算的，并不是完整自然日区分的。 前提条件
rch集群之间的数据迁移，依赖存储仓库。 通过读写分离插件实现华为云Elasticsearch集群间数据迁移 通过CSS服务的读写分离插件可以实现Elasticsearch集群间的索引数据近实时同步，仅适用于源集群和目标集群都是CSS服务的集群。 通过CDM服务实现Elasticsearch集群间数据迁移
大查询隔离支持对查询请求进行独立管理，将高内存、长耗时的查询请求进行隔离，保证节点内存安全。在节点堆内存使用率过高时，触发中断控制程序，根据选择的中断策略将其中一条大查询请求进行中断，取消其正在运行的查询任务。大查询隔离同时支持全局查询超时配置，用户可实时配置所有查询请求的超时时间，中断超时查询请求。
假设某个索引，其每天约产生2.4TB的数据，索引别名“log-alias”，其数据在Elasticsearch中的组织形态如下图所示。查询时，指向所有test开头的索引；写入时，指向最新的索引。 图1 log-alias的组织形态 索引的滚动条件1天是以索引的创建时间来计算的，并不是完整自然日区分的。 前提条件
通过索引生命周期管理实现Elasticsearch集群存算分离 方案概述 CSS支持存算分离，即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理，在特定的时间自动冻结索引，实现存算分离。 本案例通过给Elasticsearch 7.10.2版本的集群配置生命周
Distro会执行一个初始化的流程，将policy的内容填到这条数据中，初始化以后的数据如下图所示。 图3 初始化后数据 初始化结束后，policy中的min_index_age都会被复制过来。 如果此时去更新policy的内容，已经完成初始化流程的索引是完全不感知的，因为他已经将旧的policy
集群访问不同的文件，访问的模式是不一样的，缓存系统支持多级缓存，会使用不同大小的block来缓存不同的文件，例如fdx和tip文件会使用大量的小block缓存，对fdt文件会使用较少的大block缓存。缓存配置支持基于业务情况进行修改，配置项请参见表8。 表8 缓存的配置项 配置项
让用户更专注于业务逻辑的实现。 Logstash Logstash是一个开源数据收集引擎，具有实时管道功能。在ELK整个生态中，Logstash承担着数据接入的重要功能，可以动态地将来自不同数据源的数据统一起来，进行标准化的转换，然后将数据发送到指定的位置。 云搜索服务支持快速
灵活性：自定义排序规则可以满足各种复杂的业务需求。 扩展性：Elasticsearch的分布式特性支持水平扩展，适应不断增长的数据量。 性能：Elasticsearch的优化机制确保了排序操作的高效性，即使在大规模数据集上也能保持良好的性能。 实时性：Elasticsearch的近实时搜索能力确保排序结果的时效性。
Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列，超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数（调整到一个合适的阈值），另外被rejected的http请求ES-Hadoop是有重试机制的，可修改以下参数: “es
大查询隔离支持对查询请求进行独立管理，将高内存、长耗时的查询请求进行隔离，保证节点内存安全。在节点堆内存使用率过高时，触发中断控制程序，根据选择的中断策略将其中一条大查询请求进行中断，取消其正在运行的查询任务。大查询隔离同时支持全局查询超时配置，用户可实时配置所有查询请求的超时时间，中断超时查询请求。 Elasticsearch
6集群支持CSS服务的向量检索引擎。 向量检索插件涉及较高的内存计算，内存要求比普通索引高，建议集群选择“内存优化型”的计算规格。 集群数据节点或冷数据节点的内存规格要大于16G，否则无法使用CSS服务的向量检索插件，如果需要开启则请联系技术支持。 向量检索的集群规格规划 向量检索的索引构建
6集群支持CSS服务的向量检索引擎。 向量检索插件涉及较高的内存计算，内存要求比普通索引高，建议集群选择“内存优化型”的计算规格。 集群数据节点或冷数据节点的内存规格要大于16G，否则无法使用CSS服务的向量检索插件，如果需要开启则请联系技术支持。 向量检索的集群规格规划 向量检索的索引构建
成后会自己断开，长连接在发包完成后， 会在一定的时间内保持连接，即通常所说的Keepalive（存活定时器）功能。 TCP保活机制 保活机制是由一个保活计时器实现的。当计时器被激发，连接一端将发送一个保活探测报文， 另一端接收报文的同时会发送一个ACK作为响应。 如果客户端无响应
冻结状态的索引数据，是指将长期不使用的历史数据转储到OBS，降低数据的存储成本，提升SSD的存储能力。此时，被冻结的索引数据的检索速率会降低到秒/分级别。 当确定OBS中的历史数据不再使用时，可以关闭索引数据，此状态的索引数据将无法被检索到。 OBS中被关闭的索引数据，可以通过转换OBS的存储类别，从标
String 指定开启日志的集群ID。 表2 Query参数 参数 是否必选 参数类型 描述 action 否 String action支持base_log_collect和real_time_log_collect两种，base就是之前历史的能力，real_time为实时采集能力，默认不传就是base，兼容之前的逻辑
指定更改日志基础配置的集群ID。 表2 Query参数 参数 是否必选 参数类型 描述 action 否 String action支持base_log_collect和real_time_log_collect两种，base就是之前历史的能力，real_time为实时采集能力，默认不传就是base，兼容之前的逻辑
与其他服务之间的关系 CSS与其他服务的关系如图1所示。 图1 CSS与其他服务的关系 表1 CSS服务与其他服务的关系 相关服务 交互功能 虚拟私有云（Virtual Private Cloud，简称VPC） 云搜索服务CSS的集群创建在虚拟私有云（VPC）的子网内，VPC通过
管理向量索引缓存 CSS的向量检索引擎使用C++实现，使用的是堆外内存，该插件提供了接口对向量索引的缓存进行管理。 查看缓存统计信息 GET /_vector/stats 在向量插件实现中，向量索引与Lucene其他类型索引一样，每一个segment构造并存储一份索引文件，在查询
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
