检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
Real-Time Search。 图3 文档插入Elasticsearch的流程 写入性能优化 基于Elasticsearch的数据写入流程分析,有以下几种性能优化方案。 表1 写入性能优化 优化方案 方案说明 使用SSD盘或升级集群配置 使用SSD盘可以大幅提升数据写入与merge
个Segment的方式进行查询。 图2 Elasticsearch的索引组成 查询性能优化 基于Elasticsearch的数据查询流程分析,有以下几种性能优化方案。 表1 查询性能优化 优化方案 方案说明 通过routing减少检索扫描的分片数 在数据入库时指定routing值
优化Elasticsearch和OpenSearch集群性能 优化Elasticsearch和OpenSearch集群写入性能 优化Elasticsearch和OpenSearch集群查询性能
向量检索支持对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。 原理说明 向量检索从本质上讲,其思维框架和传统的检索方法没有区别。为了提升向量检索的性能,通常需要解决以下两个问题: 减少候选向量集 和传统的文本检索类似,向量检索也需要某种索引结构来避免在全量
向量检索支持对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。 原理说明 向量检索从本质上讲,其思维框架和传统的检索方法没有区别。为了提升向量检索的性能,通常需要解决以下两个问题: 减少候选向量集 和传统的文本检索类似,向量检索也需要某种索引结构来避免在全量
数据量很大,如何进行快照备份? 如果快照数据量极大,快照备份要超过一天时,可参考如下方法进行优化。 快照备份的时候指定索引,比如先分批,默认是*,将会备份所有的索引。 使用自定义快照仓库。 创建自定义仓库。 除了使用云搜索服务提供的repo_auto之外,客户也可以自己创建一个仓库,接口见如下:
07 实践 此模块为您提供多种使用场景的操作指导。 迁移Elasticsearch集群 Elasticsearch集群迁移 优化集群性能 写入性能优化 查询性能优化 实践案例 使用CSS加速数据库的查询分析 使用CSS搭建统一日志管理平台 使用Elasticsearch集群自定义评分查询
定缩容节点,以动态调整集群资源,适应不同业务需求并优化成本。 扩容OpenSearch集群 缩容OpenSearch集群 升级 OpenSearch集群支持同版本升级和跨版本升级。同版本升级是升级集群的内核补丁,用于修复问题或优化性能;跨版本升级是升级集群的版本,用于功能加强或版本收编。
过索引使用期限、索引大小或文档数等信息的变化来自动触发周期性的管理操作。通过ISM插件可以自定义索引策略,实现自动处理索引的滚动或删除,以优化集群搜索性能或降低存储成本。ISM的使用流程: 创建生命周期策略:在Kibana创建索引的生命周期策略Policy。 索引关联生命周期策略
是管理大规模数据集和优化存储成本的有效方式。 需要存储大量历史数据:当需要存储大量不常访问但对分析有用的历史数据时,使用冷数据节点可以提供成本效益较高的存储解决方案。 需要优化热数据性能:通过将旧数据迁移到冷数据节点,可以减少对热数据节点的存储压力,从而优化热数据的查询和写入性能。
态调整集群资源,适应不同业务需求并优化成本。 扩容Elasticsearch集群 缩容Elasticsearch集群 升级 Elasticsearch集群支持同版本升级、跨版本升级和跨引擎升级。同版本升级是升级集群的内核补丁,用于修复问题或优化性能;跨版本升级是升级集群的版本,用
} } } } “total_shards_per_node”要留有一定的buffer,防止机器故障导致分片无法分配(例如10台机器,索引有20个分片,则total_shards_per_node设置要大于2,可以取3)。 索引产生前设置。 通过索引模板,设置其在每个节点上的分片个数。
yml”文件,该文件是OpenSearch的配置文件,用于设置和管理OpenSearch集群的各种参数和行为。通过合理配置YML参数,可以优化集群的性能,提高系统的稳定性和安全性。 配置YML文件 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要修改参数配置的集群名称,进入集群基本信息页面。
OpenSearch集群的版本升级功能仅支持同版本升级和跨版本升级。 场景描述 升级场景 同版本升级是升级集群的内核补丁。集群升级至当前版本的最新镜像,用于修复问题或优化性能。例如,集群版本为“1.3.6(1.3.6_24.3.3_0102)”,同版本升级后,集群版本会升级到7.10.2版本最新的镜像“1.3
云搜索服务支持给Elasticsearch集群配置冷数据节点,支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。 图1 切换冷热数据原理
yml”文件,该文件是Elasticsearch的配置文件,用于设置和管理Elasticsearch集群的各种参数和行为。通过合理配置YML参数,可以优化集群的性能,提高系统的稳定性和安全性。 配置YML文件 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要修改参数配置的集群名称,进入集群基本信息页面。
云搜索服务支持给Elasticsearch集群配置冷数据节点,支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。 图1 切换冷热数据原理
支持同版本升级、跨版本升级和跨引擎升级。 场景描述 升级场景 同版本升级是升级集群的内核补丁。集群升级至当前版本的最新镜像,用于修复问题或优化性能。例如,集群版本为“7.10.2(7.10.2_24.3.3_0102)”,同版本升级后,集群版本会升级到7.10.2版本最新的镜像“7