检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过Kibana登录Elasticsearch集群 CSS服务的Elasticsearch集群默认提供Kibana,无需安装部署,即可一键访问Kibana,同时CSS服务的Elasticsearch集群也兼容了开源Kibana的可视化展现和Elasticsearch统计分析能力。
GRAPH_PQ:将HNSW算法与PQ算法进行了结合,通过PQ降低原始向量的存储开销,能够使HNSW轻松支撑上亿规模的检索场景。
向量检索特性介绍 向量检索支持对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。 原理说明 向量检索从本质上讲,其思维框架和传统的检索方法没有区别。
Prometheus是一个开源系统监控和警报工具包,用于记录实时的时间序列数据,特别是指标,并通过灵活的查询语言提供数据查询功能。
本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python依赖包。
索引监控会收集索引的stats信息,并将其存储在集群的监控索引(索引名称是“monitoring-eye-css-[yyyy-mm-dd]”)。默认情况下,这些监控索引将保留一周时间,过期会直接删除。
设置Elasticsearch集群标签 标签是集群的标识。为集群添加标签,可以方便用户识别和管理拥有的集群资源。 您可以在创建集群时添加标签,也可以在集群创建完成后,在集群的详情页添加标签。 约束限制 云搜索服务的每个集群最多可以设置20个标签。 如您的组织已经设定云搜索服务的相关标签策略
配置OpenSearch集群终端节点服务 终端节点服务(VPC Endpoint Service)通过专属网关,可以将VPC中的服务方便的提供给其他VPC中的资源使用,实现跨VPC的访问,而不必暴露服务端相关的网络信息,使您的访问更加安全、可靠。在开启终端节点服务时,系统会默认给用户创建一个终端节点
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。
当集群处于可用状态时,确认集群已停止处理业务数据(如导入数据、搜索数据),否则重启集群时可能导致数据丢失等。 调用方法 请参见如何调用API。
本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以7.10.2举例。
当本集群存在冻结状态的索引快照时,在恢复数据后,该索引会被存储在节点本地,且默认只读,如果需要支持写入,需要执行如下命令配置索引。
为Logstash集群绑定企业项目 企业可以根据组织架构规划企业项目,将企业分布在不同区域的资源按照企业项目进行统一管理,同时可以为每个企业项目设置拥有不同权限的用户组和用户。本章节为您介绍CSS集群如何绑定、修改企业项目。 前提条件 在使用企业项目前,需账号开通权限才可以进行操作
为Elasticsearch集群绑定企业项目 企业可以根据组织架构规划企业项目,将企业分布在不同区域的资源按照企业项目进行统一管理,同时可以为每个企业项目设置拥有不同权限的用户组和用户。本章节为您介绍CSS集群如何绑定、修改企业项目。 前提条件 在使用企业项目前,需账号开通权限才可以进行操作
配置Elasticsearch集群公网访问 当集群开启了“安全模式”和“HTTPS访问”时,可以选择是否配置“公网访问”。配置公网访问后,用户可以获得一个公网访问的IP地址,通过这个IP地址可以在公网访问该安全集群。同时,还支持配置访问控制,设置允许公网访问集群的IP地址或网段。
配置Elasticsearch集群向量检索 向量检索特性介绍 在Elasticsearch集群创建向量索引 在Elasticsearch集群使用向量索引搜索数据 在嵌套字段中使用向量索引 优化向量检索写入与查询性能 管理向量索引缓存 向量检索的客户端代码示例(Python) 向量检索的客户端代码示例
PUT _cluster/settings { "persistent": { "search.isolator.strategy": "fair", "search.isolator.strategy.ratio": "0.5%" } } 参数名 数据类型
当管道的“事件”数据动态变化时,监控数据也会同步变化;当管道任务在启动中、停止中或事件数据稳定时,监控数据则无变化。 命名空间 SYS.ES CSS.CUSTOM 集群监控指标列表 监控的指标ID、指标名称、指标含义以及取值范围参见表1。 监控的测量对象:CSS集群。
本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python依赖包。
集群索引重建 reindex.remote.whitelist 配置该参数可以将本集群数据通过reindex接口迁移到配置的集群,配置样例如“122.122.122.122:9200”。 自定义缓存 indices.queries.cache.size 查询阶段的缓存大小。