检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置OpenSearch集群向量检索 向量检索特性介绍 创建向量索引 使用向量索引搜索数据 优化向量检索写入与查询性能 管理向量索引缓存 向量检索的客户端代码示例(Python) 向量检索的客户端代码示例(Java) 父主题: 增强OpenSearch集群搜索能力
当数据的写入与查询突然变得缓慢时,可以升级数据节点的“节点规格”提高数据节点的查询与写入效率。 当存在冷数据查询缓慢时,可以升级冷数据节点的“节点规格”,提高数据查询的效率。 变更节点规格也支持将大规格更改为小规格,但是此变更会降低集群的处理性能,进而影响业务能力,请谨慎使用。 不支持同时修改节点规格和磁盘类型。
导入向量数据 执行如下命令,导入向量数据。向“my_index”索引中写入向量数据时,需要指定向量字段名称和向量数据。 向量数据输入格式为逗号分隔的浮点型数组时: POST my_index/_doc { "my_vector": [1.0, 2.0] } 向量数据输入格式为小端字节序编码的Base64字符串时:
扩缩容Elasticsearch集群 扩容Elasticsearch集群 缩容Elasticsearch集群 父主题: 使用Elasticsearch搜索数据
下线单节点后,剩余节点能够包含集群的所有数据。 数据副本 系统检查 检测集群中索引的最大主备分片数是否能够分配到剩余数据节点和冷数据节点中,防止升级过程中出现节点下线后副本无法分配的情况。 索引的主备分片数的最大值+1 ≤ 升级前的数据节点数和冷数据节点之和 数据备份 系统检查 升级前要做好数据备份,防止升
求不高的场景,冷数据存储在OBS中,存储成本更低一些。 OpenSearch 1.3.6 配置OpenSearch集群存算分离 切换冷热数据 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为
终端节点服务通过共享型负载均衡器实现内网访问,共享型负载均衡器资源与其他实例共享资源,如果业务追求更优的负载均衡体验,推荐使用独享型负载均衡器接入集群,配置方案请参见配置OpenSearch集群独享型负载均衡。 约束限制 集群开启终端节点服务之后,终端节点将按需进行收费,终端节点的费用将由用户进行
、PUT、DELETE,中间用英文逗号和空格分开。 集群索引重建 reindex.remote.whitelist 配置该参数可以将本集群数据通过reindex接口迁移到配置的集群,配置样例如“122.122.122.122:9200”。 自定义缓存 indices.queries
安全认证的数据源时,则需要参考文本配置自定义证书。 场景描述 当Logstash集群连接安全模式+HTTPS协议的Elasticsearch集群时,CSS预置的默认CA证书可以用于信任该服务端。Logstash集群支持查看默认证书。 当Logstash集群连接其他数据源,且需要进
BSS Administrator”权限。 设置最小授权范围。建议授权范围方案选择“指定区域项目资源”,使用哪个区域的资源就选哪个区域。 此处以仅为“华北-北京四”区域的资源设置权限为例,选择授权范围方案为“指定区域项目资源”,并选择“cn-north-4 [华北-北京四]”区域。
配置Elasticsearch集群终端节点服务 配置Elasticsearch集群独享型负载均衡 父主题: 使用Elasticsearch搜索数据
当启动配置文件后,在管道列表会生成一个任务,CSS服务支持查看管道任务的数据监控。 在管道列表,单击操作列的“指标监控”,跳转到云监控服务页面,可以查看监控信息。 当管道的“事件”数据动态变化时,监控数据也会同步变化;当管道任务在启动中、停止中或事件数据稳定时,监控数据则无变化。 支持的监控指标请参考Logst
集群一直处于快照中 集群一直处于快照中,有三个比较常见的原因: 集群数据量大或者集群压力大,备份快照耗时长。 单个节点的快照速度默认是40MB/s,同时,快照的性能还受集群情况影响,如果此时集群负载较高,耗时将会更久。可以通过上述章节的查询单个快照信息查询正在执行的快照情况。 执行GET
指定节点类型规格变更 功能介绍 修改集群规格。支持修改: ess: 数据节点。 ess-cold: 冷数据节点。 ess-client: Client节点。 ess-master: Master节点。 lgs:Lgs节点。 调用方法 请参见如何调用API。 URI POST /v1
态。 已准备好和OpenSearch集群在同VPC下的LDAP服务和用户数据。具体操作请参见OpenLDAP官方文档。 接入集群 在弹性云服务器ECS上安装LDAP服务,如果已提前准备好LDAP服务和用户数据,则可以跳过该步骤。 创建ECS。ECS需要选择Windows系统,且和
发生故障后可能导致索引不可用,本地盘集群未设置副本会有数据丢失的风险。 检测集群是否存在kibana索引冲突。 检测节点磁盘用量百分比,节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。 检测集群数据节点/冷数据节点的存储用量是否均衡,不均衡的存储用量分布可能导致集群负载不均,读写延迟增加。
向量检索支持对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。 原理说明 向量检索从本质上讲,其思维框架和传统的检索方法没有区别。为了提升向量检索的性能,通常需要解决以下两个问题: 减少候选向量集 和传统的文本检索类似,向量检索也需要某种索引结构来避免在全量的数据上做匹配,传统文
设置OpenSearch集群标签 标签是集群的标识。为集群添加标签,可以方便用户识别和管理拥有的集群资源。 您可以在创建集群时添加标签,也可以在集群创建完成后,在集群的详情页添加标签。 约束限制 云搜索服务的每个集群最多可以设置20个标签。 如您的组织已经设定云搜索服务的相关标签
本文介绍如何在Elasticsearch集群实现搜索数据的简繁体转换。 场景介绍 简繁体转换插件是一款可以使中文简体和中文繁体相互转换的插件。通过该插件的转换,用户可以使用中文繁体关键字搜索出包含对应中文简体的索引数据,也可以使用中文简体关键字搜索出包含对应中文繁体的索引数据。 云搜索服务默认安装了简繁体转换插件,用户无需自行安装。
通过索引生命周期管理实现Elasticsearch集群自动滚动索引 通过索引生命周期管理实现Elasticsearch集群存算分离 父主题: 使用Elasticsearch搜索数据