检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Elasticsearch集群聚合增强 场景描述 聚合增强在数据聚簇的情况下,利用向量化技术,批量处理数据,从而提升聚合性能,优化可观测性业务的聚合分析能力。 在大规模数据的集聚合分析场景下,耗时主要集中在对数据的分组聚合。 提升分组聚合能力依赖排序键和聚簇键。 排序键:数据按照排序键顺序存储。
执行命令update-by-query报错“Trying to create too many scroll contexts” 问题现象 云搜索服务的Elasticsearch集群执行命令update-by-query,出现报错“Trying to create too many scroll
Elasticsearch集群支持的监控指标 CES中Elasticsearch集群支持的监控指标 Elasticsearch集群内核支持的监控指标 父主题: Elasticsearch集群监控与日志管理
CES中Logstash集群支持的监控指标 云监控服务CES支持实时监控云搜索服务集群的核心指标,方便用户掌握集群的指标信息,以便及时处理集群的异常状况。 功能说明 本节定义了云搜索服务上报云监控服务的监控指标的命名空间,监控指标列表和维度定义。用户可以通过云监控服务提供管理控制台或API接口来检索云搜索服务产生的监控指标和告警信息。
存算分离 前提条件 CSS集群处于可用状态。 使用OpenSearch 1.3.6版本的集群。 通过索引生命周期管理实现存算分离 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表页面。 在集群列表页面中,单击集群操作列的“Kibana”登录OpenSearch
标 云监控服务CES支持实时监控云搜索服务集群的核心指标,方便用户掌握集群的指标信息,以便及时处理集群的异常状况。 功能说明 云监控服务CES支持实时监控云搜索服务集群的核心指标,方便用户掌握集群的指标信息,以便及时处理集群的异常状况。本文定义了云搜索服务上报云监控服务的集群和节
桶必须和CSS服务的Elasticsearch集群在同一Region。 操作步骤 登录Elasticsearch所在的第三方友商云,创建一个支持s3协议的共享存储仓库,例如登录阿里云的进入OSS服务创建目录“patent-esbak”, 或者登录腾讯云进入COS服务创建目录“patent-esbak”。
使用DSL语言在Elasticsearch中搜索数据 DSL语言是Elasticsearch和OpenSearch查询域的特定语言,是客户端与Elasticsearch和OpenSearch集群交互的最佳语言。Elasticsearch DSL是基于JSON格式的语言,其他语言如
向量检索的客户端代码示例(Java) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以OpenSearch
2、OpenSearch 1.3.6集群支持CSS服务的向量检索引擎。 向量检索插件涉及较高的内存计算,内存要求比普通索引高,建议集群选择“内存优化型”的计算规格。 集群数据节点或冷数据节点的内存规格要大于16G,否则无法使用CSS服务的向量检索插件,如果需要开启则请联系技术支持。 向量检索的集群规格规划
处理大量的并发查询请求,特别是在Ad Hoc查询场景下,它能够提供快速的响应时间,从而满足高并发环境下的查询需求。 实时数据同步:通过华为云数据复制服务DRS,可以实现MySQL数据库中的数据实时同步到Elasticsearch,确保数据的一致性和实时性。 简化的数据迁移和索引创
Elasticsearch集群词库介绍 背景信息 云搜索服务的词库用于对文本进行分词,使得一些特殊词语在分词的时候能够被识别出来,便于根据关键词搜索文本数据。例如,根据公司名称来查询,如“华为”;或者根据网络流行词来查询,如“喜大普奔”。也支持基于同义词词库,根据同义词搜索文本数据。 CSS服务使用的分词器包括IK
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
监控时间间隔内的索引每秒查询数量。 通过Kibana图表查看索引监控 为了方便查看索引的监控信息,CSS服务的索引监控预置了Kibana的Dashboard和Visualizations图表。 登录云搜索服务管理控制台。 在“集群管理”页面,选择已创建的集群,单击操作列“Kibana”,登录Kibana界面。
前提条件 CSS集群处于可用状态。 使用Elasticsearch 7.6.2或更高版本的集群。 通过索引生命周期管理实现自动滚动索引 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表页面。 在集群列表页面中,单击集群操作列的“Kibana”登录Kibana页面。
使用,以及减少写入/合并的性能开销。建议设置为true。 取值范围:true、false。 默认值:false。 创建向量索引 登录云搜索服务管理控制台。 在“集群管理”页面,选择需要启用向量检索的集群,单击操作列“Kibana”,登录Kibana界面。 单击左侧导航栏的“Dev
网络和安全模式配置。 表3 Elasticsearch集群的网络配置 参数 说明 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 单击“查看虚拟私有云”跳转到虚拟私有云列表,查看已创建或共享至当前账号下的VPC名称和ID。 如果没有合适的VPC,建议联系CS
elasticsearch版本是4.2.x。 准备工作 CSS集群处于可用状态。 确保运行Java代码的服务器与CSS集群的网络是互通的。 根据集群选择的网络配置方式,获取集群的访问地址,具体操作请参见网络配置。 确认服务器已安装JDK1.8,JDK1.8官网下载地址:http://www.oracle
向量检索的客户端代码示例(Java) Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以7
在Elasticsearch集群使用向量索引搜索数据 使用向量索引搜索数据支持多种方式。 标准查询 复合查询 ScriptScore查询 重打分查询 Painless语法扩展查询 标准查询 针对创建了向量索引的向量字段,提供了标准向量查询语法。下述查询命令将会返回所有数据中与查询向量最近的size(topk)条数据。