检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
向量检索的客户端代码示例(Python) Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装py
自动设置集群快照的基础配置(不推荐使用) 功能介绍 该接口用于自动设置集群快照的基础配置,包括配置OBS桶和IAM委托。 “OBS桶”:快照存储的OBS桶位置。 “备份路径”:快照在OBS桶中的存放路径。 “IAM委托”:由于需要将快照保存在OBS中,所以需要在IAM中设置对应的委托获取对OBS服务的授权。
升级类型 同版本升级:升级集群的内核补丁,集群升级至当前版本的最新镜像。 跨版本升级:升级集群的版本,集群升级至目标版本的最新镜像。 目标镜像 选择目标版本的镜像。选中镜像后,下方会显示镜像名称和目标版本的详细说明。 实际支持的目标版本请以升级页面中“目标镜像”的可选值为准。如果无可选择目标镜像,有如下几个原因:
数据一致性高:利用读写分离的主从复制机制,确保数据在不同分片之间的同步,提高数据的一致性 。 迁移速度快:读写分离的自动同步速度依赖带宽,不受源集群和目标集群的影响,同步快。 实时性可控:读写分离的默认同步周期为30秒,支持修改,可以控制数据迁移的实时性,减少数据同步过程中的延迟 。 性能影响
优化Elasticsearch和OpenSearch集群查询性能 CSS服务中的Elasticsearch和OpenSearch集群在使用前,建议参考本文进行集群的查询性能优化,便于提高集群的查询性能,提升使用效率。 数据查询流程 图1 数据查询流程 如图1所示,以Elastic
检索数据的场景,建议使用随机生成的_id。 设置合适的分片数 分片数建议设置为集群数据节点的倍数,且分片的大小控制在50GB以内。 关闭副本 数据写入与查询错峰执行,在数据写入时关闭数据副本,待数据写入完成后再开启副本。 Elasticsearch 7.x版本中关闭副本的命令如下:
下线后,其余节点的磁盘容量能够接纳该节点的所有数据。 下线单节点后,剩余节点能够包含集群的所有数据。 数据副本 系统检查 检测集群中索引的最大主备分片数是否能够分配到剩余数据节点和冷数据节点中,防止升级过程中出现节点下线后副本无法分配的情况。 索引的主备分片数的最大值+1 ≤ 升级前的数据节点数和冷数据节点之和
CSS集群冻结索引后如何查询OBS上的索引占用量? CSS集群冻结到OBS上的索引大小和未冻结时的索引大小是一样的,通过查询已冻结的索引信息就可以获取OBS上所有索引的大小信息,而所有索引的大小之和就是OBS上索引的占用量。 执行如下命令获取正在冻结过程中或者已经冻结完成的所有索引。 GET _cat/freeze_indices
ulk请求的数据节点的本地shard中,如果该节点不包含对应index的shard,则会进行随机路由到其他包含该索引shard节点上。该方案依赖客户端Bulk请求的随机打散和主shard的均衡分布。 Bulk聚合优化 通过指定配置项“index.aggr_perf_batch_s
如何查看CSS集群的分片数以及副本数? 登录云搜索控制台。 在集群管理页面,选择需要查看的集群操作列的Kibana。 登录Kibana界面,选择Dev Tools。 在Dev Tools的Console界面中执行GET _cat/indices?v命令,查询集群分片数和副本数。如图,
ulk请求的数据节点的本地shard中,如果该节点不包含对应index的shard,则会进行随机路由到其他包含该索引shard节点上。该方案依赖客户端Bulk请求的随机打散和主shard的均衡分布。 Bulk聚合优化 通过指定配置项“index.aggr_perf_batch_s
登录云搜索控制台,单击集群列表,显示“系统繁忙,请稍后重试或拨打客服电话4000-955-988”和“当前策略不允许css:cluster:list”。 问题原因 该问题是由于此账号没有云搜索服务的读权限导致的,需要主账号赋予此账号需要使用功能的IAM权限。 解决方案 为IAM账号进行权限授权,更多信息请参见权限管理。
集群访问不同的文件,访问的模式是不一样的,缓存系统支持多级缓存,会使用不同大小的block来缓存不同的文件,例如fdx和tip文件会使用大量的小block缓存,对fdt文件会使用较少的大block缓存。缓存配置支持基于业务情况进行修改,配置项请参见表8。 表8 缓存的配置项 配置项
变更磁盘类型 基于某一节点类型变更集群的节点存储类型。通过重建节点的方式删除原类型的磁盘,再挂载新类型的磁盘,实现更改节点的磁盘类型。 只有数据节点和冷数据节点支持变更磁盘类型,且数据节点和冷数据节点之和必须大于等于3,必须大于集群索引某分片的副本数+1。 本地盘不支持修改磁盘类型。
变更磁盘类型 基于某一节点类型变更集群的节点存储类型。通过重建节点的方式删除原类型的磁盘,再挂载新类型的磁盘,实现更改节点的磁盘类型。 只有数据节点和冷数据节点支持变更磁盘类型,且数据节点和冷数据节点之和必须大于等于3,必须大于集群索引某分片的副本数+1。 本地盘不支持修改磁盘类型。
集群访问不同的文件,访问的模式是不一样的,缓存系统支持多级缓存,会使用不同大小的block来缓存不同的文件,例如fdx和tip文件会使用大量的小block缓存,对fdt文件会使用较少的大block缓存。缓存配置支持基于业务情况进行修改,配置项请参见表14。 表14 缓存的配置项 配置项
compatibility。 目标集群的节点数要大于源集群的节点数的一半,且不能小于源集群的shard副本数。 目标集群的CPU、MEM和Disk配置不能低于源集群的配置。 迁移时长 迁移过程的耗时长短依赖于源集群和目标集群的节点个数或索引shard个数。迁移过程分为备份阶段和恢复阶段,备份阶段耗
stash集群的节点数量可以增加系统的容错能力。 当现有Logstash节点处理能力达到极限,无法满足日益增长的数据量时,扩容可以提供更多的处理能力,保证数据流的顺畅处理。 当Logstash集群需要执行更复杂的数据处理逻辑,如数据丰富、转换等,扩容可以提供更多的计算资源来处理这些任务
从不同的数据源(input)迁移数据到不同的目的端(output)。 约束限制 创建的配置文件大小不能超过100k。 Logstash集群允许最多配置50个配置文件,最多可以同时存在5个“状态”为“校验中”的配置文件。 前提条件 创建配置文件前,必须先获取数据源和目的端的服务器或
本文介绍如何在Elasticsearch集群实现搜索数据的简繁体转换。 场景介绍 简繁体转换插件是一款可以使中文简体和中文繁体相互转换的插件。通过该插件的转换,用户可以使用中文繁体关键字搜索出包含对应中文简体的索引数据,也可以使用中文简体关键字搜索出包含对应中文繁体的索引数据。 云搜索服务默认安装了简繁体转换插件,用户无需自行安装。