检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
切换Elasticsearch集群冷热数据 云搜索服务支持给Elasticsearch集群配置冷数据节点,支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点
为了方便用户使用日志定位问题,云搜索服务提供了日志备份和日志查询功能。日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。 查询日志 登录云搜索服务管理控制台。 在“集群管
API导入数据到Elasticsearch 云数据迁移服务CDM CDM向导式页面。适用于批数据迁移,比如数据存放在OBS或者Oracle数据库中,推荐使用CDM比较方便。 JSON 使用CDM导入数据到Elasticsearch 数据复制服务DRS DRS用于数据库在线迁移和实时同步数据的云服务。 关系型数据库
配置Elasticsearch集群YML文件默认参数 云搜索服务支持用户修改“elasticsearch.yml”文件,该文件是Elasticsearch的配置文件,用于设置和管理Elasticsearch集群的各种参数和行为。通过合理配置YML参数,可以优化集群的性能,提高系统的稳定性和安全性。
配置Elasticsearch集群向量检索 向量检索特性介绍 在Elasticsearch集群创建向量索引 在Elasticsearch集群使用向量索引搜索数据 在嵌套字段中使用向量索引 优化向量检索写入与查询性能 管理向量索引缓存 向量检索的客户端代码示例(Python) 向量检索的客户端代码示例(Java)
不同版本的Kibana界面可能有所差异,请以实际操作环境为准。本文以Kibana 7.6.2版本作为示例。 创建生命周期策略 登录云搜索服务管理控制台。 在“集群管理”页面选择需要登录的集群,单击“操作”列中的“Kibana”,登录Kibana页面。 在菜单栏选择“IM”或“Index
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
Elasticsearch集群为例,介绍使用CSS服务的Logstash进行集群迁移的配置文件样例。当源端和目的端的Elasticsearch集群类型不同时,可以参考本文样例中的input和output模块自由组合出合适的配置文件。 查看集群类型 登录云搜索服务管理控制台。 在左侧导航栏选择“集群管理
方便通过Kibana进行日志搜索分析。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。 查询日志 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要查询日志的集群名称,进入集群基本信息页面。 左侧导航栏,选择“日志管理”。 在日志管理页面进行日志查询。
使用SQL语言在Elasticsearch中搜索数据 在Elasticsearch集群 6.5.4及之后版本中提供Open Distro for Elasticsearch SQL插件允许您使用SQL而不是Elasticsearch查询域特定语言(DSL)编写查询。 熟悉SQL语
向量检索的客户端代码示例(Python) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装pytho
管理向量索引缓存 CSS的向量检索引擎使用C++实现,使用的是堆外内存,该插件提供了接口对向量索引的缓存进行管理。 查看缓存统计信息 GET /_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询
和“公网IP”。 说明: CSS服务仅“华东二”区域支持“IPv6网络”,其他区域只支持“IPv4私网”。 IPv4私网 所属VPC 所属虚拟私有云。无论选择哪种网络类型,均需配置此项。 需要选择和CSS集群同一VPC。 - 子网 选择创建负载均衡实例的子网。无论选择哪种网络类型,均需配置此项。
集群和词库文件满足约束限制。 上传的OBS桶必须和集群在相同“区域”。上传文件至OBS桶的操作步骤请参见上传文件。 配置自定义词库 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表页面。 在“集群管理”页面,单击需要配置自定义词库的集群名称,进入集群基本信息页面。
配置告警规则 登录云监控服务CES管理控制台。 左侧导航栏选择“告警 > 告警规则”,进入告警规则列表页面。 在告警规则列表,搜索“资源类型”为“云搜索服务”,查看是否有满足要求的告警规则。 如果没有,请参考云监控服务CES的创建告警规则和通知,新建CSS服务的告警规则。其中,关键
在嵌套字段中使用向量索引 使用嵌套字段可以实现在单条文档中存储多条向量数据,比如在RAG场景中,文档数据通常需要按段落或按长度进行切分,分别进行向量化得到多条语义向量,通过嵌套字段(Nested)可以将这些向量写入同一条ES的文档中。对于包含多条向量数据的文档,查询时任意一条向量数据与查询向量相似便会返回该条文档。
向量检索的客户端代码示例(Python) Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装py
由于该方案只适用于接入非安全集群,因此只支持通过内网IP地址的方式访问集群。 准备工作 CSS集群处于可用状态。 确保运行Java代码的服务器与CSS集群的网络是互通的。 确认服务器已安装JDK1.8,JDK1.8官网下载地址:http://www.oracle.com/technetwork/j
search请求的P99时延 开源Elasticsearch在监控search请求时仅提供了平均延迟指标,这不足以准确反映集群的实际搜索性能。为了改进这一点,CSS服务新增了P99延迟监控特性,能够有效地监控集群search请求的第99百分位延迟。 Elasticsearch 7.6.2、Elasticsearch
earch请求内容。 前提条件 CSS集群处于可用状态。 确保运行Java代码的服务器与CSS集群的网络是互通的。 根据集群选择的网络配置方式,获取集群的访问地址,具体操作请参见网络配置。 确认服务器已安装JDK1.8,JDK1.8官网下载地址:http://www.oracle