检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
使用SQL语言在Elasticsearch中搜索数据 在Elasticsearch集群 6.5.4及之后版本中提供Open Distro for Elasticsearch SQL插件允许您使用SQL而不是Elasticsearch查询域特定语言(DSL)编写查询。 熟悉SQL语
- @/”。不能以空格开头和结尾。 不能为空。 单击“下一步:确认配置”,确认完成后单击“立即创建”开始创建集群。 单击“返回集群列表”,系统将跳转到“集群管理”页面。您创建的集群将展现在集群列表中,且集群状态为“创建中”,创建成功后集群状态会变为“可用”。 如果集群创建失败,请根据界面提示重新创建集群。
管理向量索引缓存 CSS的向量检索引擎使用C++实现,使用的是堆外内存,该插件提供了接口对向量索引的缓存进行管理。 查看缓存统计信息 GET /_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询
Elasticsearch集群搜索增强特性介绍 云搜索服务的Elasticsearch集群在开源Elasticsearch基础上增加了许多增强特性,增强特性的功能和支持的集群版本请参见表1。 表1 Elasticsearch集群搜索增强特性列表 增强特性 特性描述 支持的集群版本
配置告警规则 登录云监控服务CES管理控制台。 左侧导航栏选择“告警 > 告警规则”,进入告警规则列表页面。 在告警规则列表,搜索“资源类型”为“云搜索服务”,查看是否有满足要求的告警规则。 如果没有,请参考云监控服务CES的创建告警规则和通知,新建CSS服务的告警规则。其中,关键
在嵌套字段中使用向量索引 使用嵌套字段可以实现在单条文档中存储多条向量数据,比如在RAG场景中,文档数据通常需要按段落或按长度进行切分,分别进行向量化得到多条语义向量,通过嵌套字段(Nested)可以将这些向量写入同一条ES的文档中。对于包含多条向量数据的文档,查询时任意一条向量数据与查询向量相似便会返回该条文档。
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
向量检索的客户端代码示例(Python) Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装py
扩容OpenSearch集群 当Elasticsearch或OpenSearch集群的数据面业务变化,需要动态调整集群节点的数量、容量、规格和类型时,可以参考本文扩容集群。 介绍视频 场景描述 CSS服务支持多种扩容场景,如表1所示。 表1 扩容场景 场景 描述 相关文档 增加节点数量和容量
由于该方案只适用于接入非安全集群,因此只支持通过内网IP地址的方式访问集群。 准备工作 CSS集群处于可用状态。 确保运行Java代码的服务器与CSS集群的网络是互通的。 确认服务器已安装JDK1.8,JDK1.8官网下载地址:http://www.oracle.com/technetwork/j
search请求的P99时延 开源Elasticsearch在监控search请求时仅提供了平均延迟指标,这不足以准确反映集群的实际搜索性能。为了改进这一点,CSS服务新增了P99延迟监控特性,能够有效地监控集群search请求的第99百分位延迟。 Elasticsearch 7.6.2、Elasticsearch
Distro文档。 当创建一个policy时,系统会往“.opendistro-ism-config”索引中写入一条数据,这条数据的“_id”就是policy的名字,内容是policy的定义。 图1 写入一条数据 将policy和索引绑定以后,系统会再往“.opendistro-ism-
ss-obs-agency”直接使用。 当已有自动创建的委托时,可以单击“委托一键授权”,自动删除委托中OBS Administrator系统策略的权限,并自动新增如下自定义策略授权委托到最小化权限。 "obs:bucket:GetBucketLocation", "obs:ob
metheus,实现Prometheus对Elasticsearch集群的关键性能指标进行实时监控和分析。 Prometheus是一个开源系统监控和警报工具包,用于记录实时的时间序列数据,特别是指标,并通过灵活的查询语言提供数据查询功能。 约束与限制 仅Elasticsearch
据的高可用性。 数据膨胀率:集群在索引过程中可能会产生额外的数据膨胀,通常建议按照25%的膨胀率进行计算。 磁盘空间使用率:考虑到操作系统和文件系统本身占用的空间,以及留出一定的空间以优化磁盘性能和冗余,建议将磁盘使用率控制在70%,即预留空间比例为30%。 将具体数值代入公式:存储容量=源数据x2x1
yml”文件,该文件是OpenSearch的配置文件,用于设置和管理OpenSearch集群的各种参数和行为。通过合理配置YML参数,可以优化集群的性能,提高系统的稳定性和安全性。 配置YML文件 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要修改参数配置的集群名称,进入集群基本信息页面。
本集群仅做入门指导使用,无需开启集群快照和高级功能。 单击“下一步:确认配置”,确认完成后单击“立即创建”开始创建集群。 单击“返回集群列表”,系统将跳转到“集群管理”页面。您创建的集群将展现在集群列表中,且集群状态为“创建中”,创建成功后集群状态会变为“可用”。 步骤2:导入数据 O
磁盘使用率超过85%:会导致新的分片无法分配。 磁盘使用率超过90%:集群会尝试将对应节点中的分片迁移到其他磁盘使用率比较低的数据节点中。无法迁移时系统会对集群每个索引强制设置“read_only_allow_delete”属性,此时索引将无法写入数据,只能读取和删除对应索引。 磁盘使用率
newconnect”配置为“100”且“flowcontrol.http.warmup_period”配置为“5000ms”,表示5s以后系统的新建连接数才可以达到每秒100。 取值范围:0~10000 单位:ms 默认值:0 当所有参数值设置为“null”时,表示恢复配置默认值。