检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
6 向量检索特性介绍 存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 存算分离和切换冷热数据比,更适用于对搜索性能要求不高的场景,冷数据存储在OBS中,存储成本更低一些。 OpenSearch 1.3.6 配置OpenSearch集群存算分离
产品优势 云搜索服务主要有以下特点与显著优势: 高效易用 TB级数据毫秒级返回检索结果,提供可视化平台方便数据展示和分析。 弹性灵活 按需申请,在线扩容,零业务中断,快速应对业务增长。 无忧运维 全托管服务,开箱即用,主要操作一键可达,专业团队贴身看护。 内核增强 向量检索 云搜索服务
、Curl命令。 优化集群性能 优化Elasticsearch和OpenSearch集群写入性能 集群在使用前,建议参考本实践进行集群的写入性能优化,便于提高集群的写入性能,提升使用效率。 优化Elasticsearch和OpenSearch集群查询性能 集群在使用前,建议参考本
如果没有,从ECS的实例详情页面,进入VPC页面,选择“安全组”,添加安全组。 在ECS实例上,测试是否可以正常连接到集群。 ssh <节点的内网访问地址和端口号> 当集群包含多个节点时,需要逐个节点测试是否可以正常连接到该集群中的每个节点。 如果可以通信,说明网络是正常的。 如果端口不通,请联系技术支持协助排查。
的安全性、高可用性和性能优化。 管理OpenSearch集群 管理集群索引策略 使用OpenSearch的ISM(Index State Management)插件创建和管理索引的生命周期策略,包括策略的创建、索引关联、以及策略的管理与变更,旨在优化集群性能和降低存储成本。 创建及管理OpenSearch索引策略
关闭日志功能 查询日志备份任务列表 查询日志基础配置 修改日志基础配置 开启日志自动备份策略 关闭日志自动备份策略 备份日志 查询日志 连通性测试 父主题: API
配置Elasticsearch集群向量检索 存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 存算分离和切换冷热数据比,更适用于对搜索性能要求不高的场景,冷数据存储在OBS中,存储成本更低一些。 Elasticsearch 7.6
高可用性,合理配置集群的节点类型与节点存储规格,以及根据业务需求选择适当的集群版本和安全模式,同时注意索引分片的优化,以确保集群的稳定性和性能。 Elasticsearch集群规划建议 创建集群 基于集群规划,创建合适的Elasticsearch集群。 创建Elasticsearch集群
在使用向量索引时,缓存机制会限制堆外内存使用量。当总索引大小超出缓存大小限制时,将会发生索引项的换进换出,此时将会影响查询的性能。通过清除缓存API能够将不再使用的索引缓存清空,保证热数据索引的查询性能。 父主题: 配置OpenSearch集群向量检索
Logstash-ES”,单击操作列的“配置中心”,进入配置中心页面。 在配置中心页面,单击“连通性测试”。 在弹窗中输入源集群的IP地址和端口号,单击“测试”。 图4 连通性测试 当显示“可用”时,表示集群间网络连通。如果网络不连通,可以配置Logstash集群路由,连通集群间
表等),并在目标集群中导入,可以确保用户界面和监控仪表板的一致性。 在开发、测试和生产环境之间复制Elasticsearch环境时,Kibana可视化图表的迁移可以确保不同环境之间的一致性,提升开发和测试效率。 在业务发生故障或数据丢失的情况下,通过迁移Kibana图表到备份集群,可以快速恢复数据监控和分析能力。
在使用向量索引时,缓存机制会限制堆外内存使用量。当总索引大小超出缓存大小限制时,将会发生索引项的换进换出,此时将会影响查询的性能。通过清除缓存API能够将不再使用的索引缓存清空,保证热数据索引的查询性能。 父主题: 配置Elasticsearch集群向量检索
Logstash接口 创建配置文件 更新配置文件 启动pipeline迁移数据 停止pipeline迁移数据 添加到自定义模板 连通性测试 查询模板列表 查询配置文件列表 查询pipeline列表 查询操作记录 查询配置文件内容 删除配置文件 删除自定义模板 热启动pipeline迁移数据
使用开源Elasticsearch API导入数据到Elasticsearch 使用CDM导入数据到Elasticsearch 增强Elasticsearch集群数据导入性能 父主题: 使用Elasticsearch搜索数据
使用开源OpenSearch API导入数据到OpenSearch 使用CDM导入数据到OpenSearch 增强OpenSearch集群数据导入性能 父主题: 使用OpenSearch搜索数据
配置OpenSearch集群向量检索 向量检索特性介绍 在OpenSearch集群创建向量索引 在OpenSearch集群使用向量索引搜索数据 优化向量检索写入与查询性能 管理向量索引缓存 向量检索的客户端代码示例(Python) 向量检索的客户端代码示例(Java) 父主题: 增强OpenSearch集群搜索能力
向量检索特性介绍 在Elasticsearch集群创建向量索引 在Elasticsearch集群使用向量索引搜索数据 优化向量检索写入与查询性能 管理向量索引缓存 向量检索的客户端代码示例(Python) 向量检索的客户端代码示例(Java) 父主题: 增强Elasticsearch集群搜索能力
用于数据量在上亿以上同时对检索性能要求较高的场景。 IVF_GRAPH_PQ:PQ算法与IVF-HNSW的结合,PQ可以通过配置选择与HNSW结合和IVF结合,进一步提升系统的容量并降低系统开销,适用于shard中文档数量在十亿级别以上同时对检索性能要求较高的场景。 默认值:GRAPH。
用于数据量在上亿以上同时对检索性能要求较高的场景。 IVF_GRAPH_PQ:PQ算法与IVF-HNSW的结合,PQ可以通过配置选择与HNSW结合和IVF结合,进一步提升系统的容量并降低系统开销,适用于shard中文档数量在十亿级别以上同时对检索性能要求较高的场景。 默认值:GRAPH。
实践 此模块为您提供多种使用场景的操作指导。 迁移Elasticsearch集群 Elasticsearch集群迁移 优化集群性能 写入性能优化 查询性能优化 实践案例 使用CSS加速数据库的查询分析 使用CSS搭建统一日志管理平台 使用Elasticsearch集群自定义评分查询