检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
严重时可导致集群崩溃。 分片过多时,如果不能及时掌控业务的变化,可能经常遇到单分片记录超限、写入拒绝等问题。 父主题: CSS集群搜索引擎使用
0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTP并发连接数限制、HTTP最大连接数限制、基于请求Path的堆内存最大使用量流控能力、基于CPU最大占用率流控能力,一键断流能力,同时也提供节点访问IP统计和URL的采样统计能力。开启流控功能会使请求在入口处直接
v命令,查询集群分片数和副本数。如图,pri列表示该索引分片数,rep列表示副本数。索引一旦创建,pri无法修改的,rep可以动态修改。 父主题: CSS集群搜索引擎使用
elasticsearch.NewClient(cfg) log.Println(es.Info()) } 连接开启https的安全集群,不使用证书,示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
配置Elasticsearch集群YML文件默认参数 云搜索服务支持用户修改elasticsearch.yml文件。 配置YML文件 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要修改参数配置的集群名称,进入集群基本信息页面。 选择“参数配置”,单击“编辑”,根据需求修改对应模块的参数值。
中。插件使用缓存机制对这些堆外内存进行管理。上述API能够查询当前堆外内存使用量、缓存命中次数、加载次数等信息。 预加载向量索引 PUT /_vector/warmup/{index_name} 使用上述接口能将指定index_name的向量索引预加载至堆外内存供查询使用。 清除缓存
接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python依赖包。如果未安装可以执行如下命令安装: pip install opensearch-py==1
表1 云搜索服务支持的监控指标 指标ID 指标名称 指标含义 取值范围 max_jvm_heap_usage 最大JVM堆使用率 CSS集群中各个节点的JVM堆使用率的最大值。 单位:百分比 0-100% max_jvm_young_gc_time 最大JVM Young GC耗时 CSS集群中各个节点的JVM
冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到OBS中;当索引创建7天后,删除该索引。 前提条件 CSS集群处于可用状态。 使用Elasticsearch 7.6
使用HTTP访问的安全集群之间进行数据迁移 安全集群(使用HTTP访问)的Logstash配置文件样例 使用HTTPS访问的安全集群之间进行数据迁移 安全集群(使用HTTPS访问)的Logstash配置文件样例 非安全集群的Logstash配置文件样例 当源端和目的端的Elasticsearch集群都是非安
通过Python客户端接入Elasticsearch集群 本文介绍通过Python语言访问CSS集群的配置说明。 准备工作 CSS集群处于可用状态。 确保运行Python代码的服务器与CSS集群的网络是互通的。 接入集群 安装Elasticsearch Python客户端,建议和
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
删除Elasticsearch集群快照 当快照信息不需要使用时,您可以删除快照释放存储资源。 当自动创建快照功能开启时,自动创建的快照无法手动删除,系统会按照设置的策略在半点时刻自动删除超过“保留时间”的快照。 当自动创建快照功能开启又关闭了,关闭时,之前已自动创建的快照并未同步
繁体转换。 场景介绍 简繁体转换插件是一款可以使中文简体和中文繁体相互转换的插件。通过该插件的转换,用户可以使用中文繁体关键字搜索出包含对应中文简体的索引数据,也可以使用中文简体关键字搜索出包含对应中文繁体的索引数据。 云搜索服务默认安装了简繁体转换插件,用户无需自行安装。 简繁
“localhost”是Elasticsearch集群的访问地址。 该配置会相应的消耗内存与CPU,请谨慎设置。 父主题: CSS集群搜索引擎使用
than or equal to: [100000]. ...... 原因分析 当集群每调用一次scroll的创建接口,都会新建一个scroll使用的context,当scroll contexts的数目达到预定值时,将无法继续创建scroll。 处理步骤 执行如下命令,查看“open
} “indexname”为需要修改的索引名称,“number_of_replicas”为需要设置的副本数量。 父主题: CSS集群搜索引擎使用
提升分组聚合能力依赖排序键和聚簇键。 排序键:数据按照排序键顺序存储。 聚簇键:是排序键的前缀子集,数据按照聚簇键聚簇在一起。 聚合增强常见的使用场景请参见表1。 表1 聚合增强的使用场景 场景 描述 相关文档 低基字段聚合 表示对具有较少不同值的列进行聚合,如对一个存储类别的列进行聚合。 低基字段分组聚合
内存优化型”的计算规格。 集群数据节点或冷数据节点的内存规格要大于16G,否则无法使用CSS服务的向量检索插件,如果需要开启则请联系技术支持。 向量检索的集群规格规划 向量检索的索引构建与查询均使用堆外内存,所以集群容量与索引类型、总堆外内存大小等因素相关。通过预估全量索引所需的
CSS服务中单节点的使用率过高是否会影响集群的业务? 问题现象 查看集群监控发现,Elasticsearch集群“磁盘使用率”达到80%以上,用户担心单节点使用率过高会对集群业务产生影响。 业务影响 单节点使用率超过85%:会导致新的分片无法分配。 单节点使用率超过90%:Ela