检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python依赖包。如果未安装可以执行如下命令安装: # 根据集群实际版本填写,此处以7.6举例 pip
可以写定时任务调用清理索引的请求,定期执行。CSS支持Opendistro Index State Management,可以参考案例通过索引生命周期实现索引存算分离设置定期清理数据。 Opendistro Index State Management的详细说明请参见:https://opendistro
CSS服务中如何更新Elasticsearch生命周期策略? Elasticsearch生命周期实现使用的是Open Distro的ISM。此处简单介绍不涉及ISM template的策略更新步骤,如果要配置有关ISM template的策略可以参考Open Distro文档。 当创建一个policy时,系统会往“
Kibana是一个开源的数据分析与可视化平台,与Elasticsearch搜索引擎一起使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据,也可以实现以图表、地图等方式展示数据。Kibana的官方文档请参见:https://www.elastic.co/guide/en/kibana/current/index
灵活性:Logstash提供了数据采集、转换、优化和输出的能力,可以灵活地处理各种数据同步需求。 实时性:Logstash可以实现数据的准实时同步,满足大多数业务场景的需求。 易用性:通过Logstash配置文件即可实现数据同步,操作简单,无需复杂的代码开发。 约束限制 Elasticsearch中的_id字段必须与MySQL中的id字段相同。
Management)是一个索引状态管理插件,支持通过索引使用期限、索引大小或文档数等信息的变化来自动触发周期性的管理操作。通过ISM插件可以自定义索引策略,实现自动处理索引的滚动或删除,以优化集群搜索性能或降低存储成本。ISM的使用流程: 创建生命周期策略:在Kibana创建索引的生命周期策略Policy。
设置Elasticsearch告警同步到Prometheus 本文主要介绍如何在Kibana中设置Elasticsearch告警同步到Prometheus,实现Prometheus对Elasticsearch集群的关键性能指标进行实时监控和分析。 Prometheus是一个开源系统监控和警报工具包
ISM更多功能请参见索引管理官方介绍。 创建的索引生命周期策略常用于以下场景: 通过索引生命周期管理实现Elasticsearch集群自动滚动索引 通过索引生命周期管理实现Elasticsearch集群存算分离 约束限制 仅Elasticsearch集群版本≥7.6.2和Op
rch集群。 通过Curl命令行接入OpenSearch集群 LDAP认证 在OpenSearch集群中配置轻量目录访问协议LDAP认证,实现相应角色的LDAP用户接入OpenSearch集群。 通过LDAP接入OpenSearch集群 网络配置 配置Elasticsearch集
CSS服务中Elasticsearch是否支持不同VPC之间的数据迁移? 在CSS服务中,实现不同虚拟私有云(VPC)环境下的Elasticsearch集群迁移,可以通过以下两种方法: 方法一: 可以使用备份与恢复功能迁移集群数据。具体操作请参见使用备份与恢复迁移集群数据。 方法二:
华为云 通过备份与恢复可以将第三方Elasticsearch集群数据迁移至华为云Elasticsearch集群。 应用场景 通过备份与恢复实现第三方Elasticsearch集群和华为云Elasticsearch集群之间的数据迁移,依赖存储仓库。常用于以下场景: 变更服务提供商:
配置访问控制,设置允许公网访问集群的IP地址或网段。 Elasticsearch和OpenSearch集群的公网访问是通过共享型负载均衡器实现外网访问,共享型负载均衡器资源与其他实例共享资源,如果业务追求更优的负载均衡体验,推荐使用独享型负载均衡器接入集群,配置方案请参见配置El
配置访问控制,设置允许公网访问集群的IP地址或网段。 Elasticsearch和OpenSearch集群的公网访问是通过共享型负载均衡器实现外网访问,共享型负载均衡器资源与其他实例共享资源,如果业务追求更优的负载均衡体验,推荐使用独享型负载均衡器接入集群,配置方案请参见配置El
通过Python语言访问与管理Elasticsearch集群。 通过Python客户端接入Elasticsearch集群 MRS Hive客户端 通过MRS的ES-Hadoop实现Hive工具访问与管理Elasticsearch集群。 通过MRS Hive客户端接入Elasticsearch集群 Go客户端 通过Go
指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 和Elasticsearch集群选择同一个VPC。 说明: 此处您选择的VPC必须包含网段(CIDR),否则集群将无法创建成功。新建的VPC默认包含网段(CIDR)。 vpc-default 子网 集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。
算法。 LZ4算法 LZ4算法是Elasticsearch的默认压缩算法,该算法对数据的解压/压缩效率很快,但压缩率较低一些。 压缩算法的实现流程:压缩过程以至少4个bytes为扫描窗口查找匹配,每次移动1byte进行扫描,遇到重复的就进行压缩。该算法适用于读取量大、写入量小的场景。
配置Elasticsearch集群读写分离 场景描述 读写分离支持将写入主集群(Leader)的数据自动同步到从集群(Follower),实现主集群承担写入任务,从集群承担查询任务。读写分离可以将读写压力分开,提高查询的性能。当主集群无法提供服务时,可以通过主从切换使用从集群提供写入和查询服务,保证业务可以正常进行。
通过华为云Logstash实现Elasticsearch集群间数据迁移 通过备份与恢复实现华为云Elasticsearch集群间数据迁移 通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云 通过备份与恢复迁移第三方Elasticsearch集群至华为云 通过读写分离插件实现华为云Elasticsearch集群间数据迁移
配置OpenSearch集群简繁体转换搜索 本文介绍如何在Elasticsearch集群实现搜索数据的简繁体转换。 场景介绍 简繁体转换插件是一款可以使中文简体和中文繁体相互转换的插件。通过该插件的转换,用户可以使用中文繁体关键字搜索出包含对应中文简体的索引数据,也可以使用中文简
在嵌套字段中使用向量索引 使用嵌套字段可以实现在单条文档中存储多条向量数据,比如在RAG场景中,文档数据通常需要按段落或按长度进行切分,分别进行向量化得到多条语义向量,通过嵌套字段(Nested)可以将这些向量写入同一条ES的文档中。对于包含多条向量数据的文档,查询时任意一条向量数据与查询向量相似便会返回该条文档。