检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
enabled Boolean 内存流控开关,开启后持续监控内存使用情况。 取值范围: true false(默认值) flowcontrol.memory.heap_limit String 节点堆内存的阈值,限制节点全局堆内存的使用率,超过此值将进行流量反压。 取值范围:10%-100%
广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服
内存优化型”的计算规格。 集群数据节点或冷数据节点的内存规格要大于16G,否则无法使用CSS服务的向量检索插件,如果需要开启则请联系技术支持。 向量检索的集群规格规划 向量检索的索引构建与查询均使用堆外内存,所以集群容量与索引类型、总堆外内存大小等因素相关。通过预估全量索引所需的
节点新建的连接数来限制节点流量。 开启HTTP/HTTPS节点流控 内存流控 基于节点堆内存使用量限制请求Path,支持设置内存流控白名单、全局内存使用阈值和基于单个Path设置堆内存使用阈值。全局内存流控阈值优先于单个Path内存阈值,白名单配置Path不参与内存流控。 开启内存流控
的OpenSearch集群。 操作步骤 创建一个弹性云服务器ECS。 ECS需要和CSS服务的集群在同一个虚拟私有云中。 ECS选择的安全组需要开放5601端口。 ECS需要绑定弹性公网IP。 操作指导请参见弹性云服务器ECS使用指南。 获取CSS服务的OpenSearch集群的访问地址。
可以使用POST _cluster/reroute的move命令迁移分片到其他节点,rebalance模块会自动分配其他更合适的分片与其交换节点。根据具体业务使用场景可以适当调节balance.index,balance.shard配置。 父主题: CSS集群搜索引擎使用
S集群版本是7.6.2,则使用的Rest High Level Client客户端版本建议也是7.6.2。如果您使用相比Elasticsearch集群更高版本的Java Rest High Level Client且存在少量请求的兼容性问题,您可以使用“RestHighLevelClient
配置Elasticsearch集群索引监控 场景描述 索引监控功能用以监测集群索引的运行状态和变化趋势,评估业务使用情况,并能够协助及时发现并处理潜在风险,确保集群稳定运行。索引监控会收集索引的stats信息,并将其存储在集群的监控索引(索引名称是“monitoring-eye-
asticsearch集群。 操作步骤 创建一个弹性云服务器ECS。 ECS需要和CSS服务的集群在同一个虚拟私有云中。 ECS选择的安全组需要开放5601端口。 ECS需要绑定弹性公网IP。 操作指导请参见弹性云服务器ECS使用指南。 获取CSS服务的Elasticsearch集群的访问地址。
search”,“.bulk”)不能满足使用需求,或存在兼容性问题,可以选择使用Low Level Client方式,甚至可以使用“HighLevelClient.getLowLevelClient()”方式直接获取Low Level Client。使用Low Level Client发
词词库,根据同义词搜索文本数据。 CSS服务使用的分词器包括IK分词器和同义词分词器。IK分词器配备主词词库和停词词库;同义词分词器配备同义词词库。其中,IK分词器包含ik_max_word和ik_smart分词策略。同义词分词器使用的是ik_synonym分词策略。 ik_ma
circuit_breaker.cpu.limit 向量索引堆外内存使用上限。 假设使用128GB内存的机器且堆内存大小为31GB,默认堆外内存使用上限为(128 - 31) * 80% = 77.6GB,堆外内存使用量超过该值将会触发写入熔断。 默认值:80%。 native.cache
通过索引生命周期管理实现Elasticsearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过给Elasticsearch 7.10.2版本的集群配置生命周期策略
ST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以7.10.2举例。 <dependency> <groupId>org
log-alias的组织形态 索引的滚动条件1天是以索引的创建时间来计算的,并不是完整自然日区分的。 前提条件 CSS集群处于可用状态。 使用Elasticsearch 7.6.2或更高版本的集群。 通过索引生命周期管理实现自动滚动索引 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表页面。
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
配置Elasticsearch集群内核监控 场景描述 表1 集群内核监控介绍 集群内核监控增强 描述 支持的集群版本 相关文档 P99时延监控 开源Elasticsearch在监控search请求时仅提供了平均延迟指标,这不足以准确反映集群的实际搜索性能。为了改进这一点,CSS服
node共同分摊客户端请求。 ingest节点相当于一套ELK,用于数据转换,当没有ingest业务时,客户端节点也不会闲置。 父主题: CSS集群搜索引擎使用
6.2、Elasticsearch 7.10.2 监控HTTP状态码 集群索引 索引监控功能用以监测集群索引的运行状态和变化趋势,评估业务使用情况,并能够协助及时发现并处理潜在风险,确保集群稳定运行。索引监控会收集索引的stats信息,并将其存储在集群的监控索引(索引名称是“mo
2:数据缺失,集群使用时将出现异常。 3:没有获取到集群状态。 disk_util 磁盘使用率 该指标用于统计测量对象的磁盘使用率。 单位:百分比 0-100% max_jvm_heap_usage 最大JVM堆使用率 CSS集群中各个节点的JVM堆使用率的最大值。 单位:百分比。