检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CSS的向量检索引擎使用C++实现,使用的是堆外内存,该插件提供了接口对向量索引的缓存进行管理。 查看缓存统计信息 GET /_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询时,该索引文件会被加载到堆外内存中。插件使用缓存机
CSS的向量检索引擎使用C++实现,使用的是堆外内存,该插件提供了接口对向量索引的缓存进行管理。 查看缓存统计信息 GET /_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询时,该索引文件会被加载到堆外内存中。插件使用缓存机
节点机型适用场景 节点机型 磁盘类型 规格说明 适用场景 计算密集型 云盘 CPU:内存=1:2 推荐场景,用于数据量较少(单节点<100GB)的搜索场景。 通用计算型 云盘 CPU:内存=1:4 通用场景,用于单节点数据量在100-1000GB间的搜索与分析场景,例如中等规模的电商搜索、社交搜索、日志搜索等场景。
如果向量索引所需堆外内存超过了熔断线,查询时索引的缓存管理器会控制索引的换进换出,导致查询变慢,此时可适当调大熔断线的配置。 PUT _cluster/settings { "persistent": { "native.cache.circuit_breaker.cpu.limit":
节点机型适用场景 节点机型 磁盘类型 规格说明 适用场景 计算密集型 云盘 CPU:内存=1:2 推荐场景,用于数据量较少(单节点<100GB)的搜索场景。 通用计算型 云盘 CPU:内存=1:4 通用场景,用于单节点数据量在100-1000GB间的搜索与分析场景,例如中等规模的电商搜索、社交搜索、日志搜索等场景。
如果向量索引所需堆外内存超过了熔断线,查询时索引的缓存管理器会控制索引的换进换出,导致查询变慢,此时可适当调大熔断线的配置。 PUT _cluster/settings { "persistent": { "native.cache.circuit_breaker.cpu.limit":
EsflavorsVersionsFlavorsResp 参数 参数类型 描述 cpu Integer 参数解释: 实例的CPU核数。 ram Integer 参数解释: 实例的内存大小。单位GB。 name String 参数解释: 规格名称。 region String 参数解释: 可用region。
数据导入导出类 Elasticsearch显示CPU使用率高,导致日志无法写入 ECS服务器部署Logstash推送数据到CSS服务报错 ES-Hadoop导数据时报"Could not write all entries"异常
ts阶段的工作线程数。 取值范围:1~20 默认值:CPU核数 pipeline.batch.size 单个工作线程在尝试执行其Filters和Outputs之前将从inputs收集的最大事件数,该值较大通常更有效,但会增加内存开销。 默认值:125 pipeline.batch
击目标集群名称,进入集群基本信息页面。 选择“版本升级”。 在升级页面,配置升级参数。 表2 升级参数说明 参数 描述 升级类型 同版本升级:升级集群的内核补丁,集群升级至当前版本的最新镜像。 跨版本升级:升级集群的版本,集群升级至目标版本的最新镜像。 目标镜像 选择目标版本的镜
62.179.33:9200”。 登录即将接入集群的弹性云服务器ECS。 弹性云服务器的使用指导请参见快速购买和使用Linux ECS。 将JSON数据文件上传至ECS。 例如,将如下数据保存为json格式的文件,上传到ECS。 Elasticsearch版本<7.x的数据 {"index":
memory.task.limit String 查询任务用于聚合等操作向节点申请的大内存,申请内存超过此阈值将进行隔离观察。 取值范围:0b~节点最大堆内存 默认值:50MB 说明: 可以通过如下命令查询集群堆内存使用情况和最大值。 GET _cat/nodes?&h=id,ip,port
务的OpenSearch集群。 操作步骤 创建一个弹性云服务器ECS。 ECS需要和CSS服务的集群在同一个虚拟私有云中。 ECS选择的安全组需要开放5601端口。 ECS需要绑定弹性公网IP。 操作指导请参见弹性云服务器ECS使用指南。 获取CSS服务的OpenSearch集群的访问地址。
选择“版本升级”。 在升级页面,配置升级参数。 表3 升级参数说明 参数 描述 升级类型 同版本升级:升级集群的内核补丁,集群升级至当前版本的最新镜像。 跨版本升级:升级集群的版本,集群升级至目标版本的最新镜像。 跨引擎升级:Elasticsearch集群升级至OpenSearch集群。
≥ 0 max_cpu_usage 最大CPU利用率 CSS集群中各个节点的CPU利用率的最大值。 单位:百分比 0-100% max_load_average 最大节点Load值 CSS集群中各个节点在操作系统中1分钟平均排队任务数的最大值。 ≥ 0 avg_cpu_usage 平均CPU使用率
通过Python客户端接入Elasticsearch集群 本文介绍通过Python语言访问CSS集群的配置说明。 准备工作 CSS集群处于可用状态。 确保运行Python代码的服务器与CSS集群的网络是互通的。 接入集群 安装Elasticsearch Python客户端,建议和Elasticsearch的版本保持一致,例如需要访问的集群版本是7
lasticsearch集群。 操作步骤 创建一个弹性云服务器ECS。 ECS需要和CSS服务的集群在同一个虚拟私有云中。 ECS选择的安全组需要开放5601端口。 ECS需要绑定弹性公网IP。 操作指导请参见弹性云服务器ECS使用指南。 获取CSS服务的Elasticsearch集群的访问地址。
由于Logstash集群不涉及存储大规格数据,推荐选用计算密集型机型。 规划节点规格 在规划节点规格时,推荐优先考虑高配置但节点数量较少的方案。例如,一个由3个节点组成的集群,每个节点配置为32核CPU和64GB内存,通常比一个由12个节点组成的集群,每个节点配置为8核CPU和16GB内存,在集群的稳定性和扩展性方面更具优势。
性能测试的操作步骤 创建一个弹性云服务器ECS,用于安装压测工具和执行测试脚本。操作指导请参见快速购买和使用Linux ECS。 ECS必须和Elasticsearch集群在同一个虚拟私有云和安全组中。 也可以使用其他客户端服务器,但是必须保证服务器和Elasticsearch集群在同一VPC。
circuit_breaker.enabled 是否开启堆外内存熔断。 默认值:true。 native.cache.circuit_breaker.cpu.limit 向量索引堆外内存使用上限。 假设使用128GB内存的机器且堆内存大小为31GB,默认堆外内存使用上限为(128 - 31) * 80%