检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以7.10.2举例。 <dependency>
完善的监控体系,提供一系列系统、集群以及查询性能等关键指标,让用户更专注于业务逻辑的实现。 Logstash Logstash是一个开源数据收集引擎,具有实时管道功能。在ELK整个生态中,Logstash承担着数据接入的重要功能,可以动态地将来自不同数据源的数据统一起来,进行标准化的转换,然后将数据发送到指定的位置。
CSS服务中如何查看集群总磁盘使用率? 在集群的“基本信息”页面,可以查看集群总磁盘使用率。 登录云搜索服务管理控制台。 选择“集群管理 > Elasticsearch”,进入集群列表页面。 单击集群名称进入集群“基本信息”页面,集群配置信息中“集群存储使用量”与“集群存储容量”的比值,即集群总磁盘使用率。
向量检索的客户端代码示例(Java) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以OpenSearch
从控制台获取集群ID 登录CSS管理控制台。 在左侧导航栏,单击“集群管理”。 在集群列表中找到所需要的集群,然后单击集群名称,进入集群“集群详情”页面。 在“基本信息”模块查看集群ID。 图1 查看集群ID 父主题: 附录
ch的排序API实现的。通过调用排序API查询数据,实现数据按自定义规则排序。 自定义规则查询有两种方式。 用绝对好评率计算总分,按照总分由高到低的顺序排列出查询结果。 总分 = 匹配得分 * (好评率 * 绝对因子) 匹配得分:根据查询结果计分,内容匹配记1分,否则记0分,得分之和即为匹配得分。
如图1所示,以Elasticsearch集群为例,介绍客户端往Elasticsearch或OpenSearch集群中写入数据的流程。图中的P表示主分片Primary,R表示副本分片Replica,主副分片在数据节点Node里是随机分配的,但是不能在同一个节点里。 客户端向Node1发送写数据请求,此时Node1为协调节点。
是 String 指定待查询的集群ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 分页参数,列表当前分页的数量限制。 start 否 Integer 偏移量。 偏移量为一个大于0小于终端节点服务总个数的整数, 表示从偏移量后面的终端节点服务开始查询。
单个节点的快照速度默认是40MB/s,同时,快照的性能还受集群情况影响,如果此时集群负载较高,耗时将会更久。可以通过上述章节的查询单个快照信息查询正在执行的快照情况。 执行GET _snapshot/repo_auto/snapshot-name,可以看到剩余还需要完成的sh
聚簇键:是排序键的前缀子集,数据按照聚簇键聚簇在一起。 聚合增强常见的使用场景请参见表1。 表1 聚合增强的使用场景 场景 描述 相关文档 低基字段聚合 表示对具有较少不同值的列进行聚合,如对一个存储类别的列进行聚合。 低基字段分组聚合 高基字段聚合 表示对具有较多不同值的列进行聚合,如对一个存储时间的列进行按天的时间聚合。
body=mappings) 通过Elasticsearch客户端查询上一步创建的索引。 1 2 3 4 5 6 7 8 body = { "query": { "match": { "查询字段": "查询内容" } } } result = es.search(index=index
ana”,登录OpenSearch Dashboards。 单击左侧导航栏的“Dev Tools”进入操作页面。 在OpenSearch Dashboards操作页面,执行命令查看集群是否存在索引。 GET _cat/indices?v 当待导入数据的集群已存在可用的索引时,则不需要再创建索引,直接执行步骤7。
index_2" # 查找正在恢复的索引,该索引名称需要与提供的模板匹配。 "rename_pattern": "index_(.+)", # 重命名查找到的索引。 "rename_replacement": "restored_index_$1" } 查看快照恢复结果。 查看所有快照的恢复结果。
自动创建快照的执行频次。 说明: 默认值DAY,取值HOUR时,表示每小时整点执行一次;取值DAY时,表示每天执行一次;取值SUN、MON、TUE、WED、THU、FRI、SAT时,表示在每周对应时间执行一次。比如SUN表示每周日执行一次。保留快照个数与自动创建快照策略中设置的执行频
点索引的查询次数,提升写入以及查询的性能。 选择启用向量检索的集群,单击操作列“Kibana”,登录Kibana界面。 单击左侧导航栏的“Dev Tools”,进入操作界面。 创建中心点索引表。 创建的索引命名为my_dict,注意该索引的number_of_shards数必须设置为1,否则无法注册。
点索引的查询次数,提升写入以及查询的性能。 选择启用向量检索的集群,单击操作列“Kibana”,登录Kibana界面。 单击左侧导航栏的“Dev Tools”,进入操作界面。 创建中心点索引表。 创建的索引命名为my_dict,注意该索引的number_of_shards数必须设置为1,否则无法注册。
排查集群的写入和查询队列,查看是否有大量任务堆积。 GET /_cat/thread_pool/write?v GET /_cat/thread_pool/search?v 查看集群监控,排查集群的写入和查询任务相关指标。 如果集群长期处于高堆内存占用状态,查看集群节点个数、节点规模,确认是否需要扩容。
云搜索服务的词库用于对文本进行分词,使得一些特殊词语在分词的时候能够被识别出来,便于根据关键词搜索文本数据。例如,根据公司名称来查询,如“华为”;或者根据网络流行词来查询,如“喜大普奔”。也支持基于同义词词库,根据同义词搜索文本数据。 CSS服务使用的分词器包括IK分词器和同义词分词器。I
云搜索服务的词库用于对文本进行分词,使得一些特殊词语在分词的时候能够被识别出来,便于根据关键词搜索文本数据。例如,根据公司名称来查询,如“华为”;或者根据网络流行词来查询,如“喜大普奔”。也支持基于同义词词库,根据同义词搜索文本数据。 CSS服务使用的分词器包括IK分词器和同义词分词器。I
登录云搜索服务管理控制台。 确认集群是否已启用冷数据节点。 在“集群管理”页面,选择需要进行存算分离的集群,单击集群名称进入集群详情页,查看“节点信息”中是否有冷数据节点的信息。 图2 查看冷数据节点 是,集群存在冷数据节点,则执行下一步。 否,集群不存在冷数据节点,则不支持切换集群的冷热数据。如果想将