检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sh负责数据ETL,Elasticsearch负责数据检索与分析,最后由Kibana以可视化的方式呈现给用户。 性价比高:采用鲲鹏算力、冷热分离、存算分离,成本同比降低30%+。 易用性好:支持丰富的可视化查询语句与拖拽式报表。 强大的处理能力:支持每天百TB级数量入库,提供PB级以上数据处理能力。
配置OpenSearch集群存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明显的冷
配置Elasticsearch集群存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明
dotProduct无法执行。 推荐采用云搜索服务的向量检索功能。该功能依托于CSS自主研发的向量搜索引擎,并利用Elasticsearch的插件架构进行了深度集成,为用户提供了一种高效、低成本的解决方案,旨在满足包括但不限于高性能、高精度和多模态在内的多样化高维向量检索需求。更多信息请参见向量检索。
Hive客户端接入Elasticsearch集群 Elasticsearch-Hadoop (ES-Hadoop) 连接器将Hadoop海量的数据存储和深度加工能力与Elasticsearch实时搜索和分析功能结合在一起。它能够让您快速深入了解大数据,并让您在Hadoop生态系统中更好地开展工作。
通过索引生命周期管理实现OpenSearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到
通过索引生命周期管理实现Elasticsearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过给Elasticsearch 7.10.2版本的集群配置
可以写定时任务调用清理索引的请求,定期执行。CSS支持Opendistro Index State Management,可以参考案例通过索引生命周期实现索引存算分离设置定期清理数据。 Opendistro Index State Management的详细说明请参见:https://opendistro
近邻或近似近邻检索。 OpenSearch 1.3.6 向量检索特性介绍 存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 存算分离和切换冷热数据比,更适用于对搜索性能要求不高的场景,冷数据存储在OBS中,存储成本更低一些。
冷数据节点只有在创建集群时可以选择启用,已建集群不支持添加冷数据节点,如果集群没有冷数据节点又想切换冷热数据,可以使用存算分离功能,具体操作请参见配置OpenSearch集群存算分离。 冷数据节点支持节点数量扩缩容和磁盘存储容量的扩容,具体操作请参见扩缩容OpenSearch集群。 约束限制
冷数据节点只有在创建集群时可以选择启用,已建集群不支持添加冷数据节点,如果集群没有冷数据节点又想切换冷热数据,可以使用存算分离功能,具体操作请参见配置Elasticsearch集群存算分离。 冷数据节点支持节点数量扩缩容和磁盘存储容量的扩容,具体操作请参见扩缩容Elasticsearch集群。
增强OpenSearch集群搜索能力 OpenSearch集群搜索增强特性介绍 配置OpenSearch集群向量检索 配置OpenSearch集群存算分离 切换OpenSearch集群冷热数据 父主题: 使用OpenSearch搜索数据
2、Elasticsearch 7.10.2 配置Elasticsearch集群向量检索 存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 存算分离和切换冷热数据比,更适用于对搜索性能要求不高的场景,冷数据存储在OBS中,存储成本更低一些。
创建及管理OpenSearch索引策略 通过索引生命周期管理实现OpenSearch集群自动滚动索引 通过索引生命周期管理实现OpenSearch集群存算分离 父主题: 使用OpenSearch搜索数据
创建和管理Elasticsearch索引策略 通过索引生命周期管理实现Elasticsearch集群自动滚动索引 通过索引生命周期管理实现Elasticsearch集群存算分离 父主题: 使用Elasticsearch搜索数据
增强Elasticsearch集群搜索能力 Elasticsearch集群搜索增强特性介绍 配置Elasticsearch集群向量检索 配置Elasticsearch集群存算分离 配置Elasticsearch集群读写流量控制策略2.0 配置Elasticsearch集群读写流量控制策略1.0 配置Elasticsearch集群大查询隔离
FLAT:暴力计算,目标向量依次和所有向量进行距离计算,此方法计算量大,召回率100%。适用于对召回准确率要求极高的场景。 GRAPH:图索引,内嵌深度优化的HNSW算法,主要应用在对性能和精度均有较高要求且单shard中文档数量在千万个以内的场景。 GRAPH_PQ:将HNSW算法与PQ
FLAT:暴力计算,目标向量依次和所有向量进行距离计算,此方法计算量大,召回率100%。适用于对召回准确率要求极高的场景。 GRAPH:图索引,内嵌深度优化的HNSW算法,主要应用在对性能和精度均有较高要求且单shard中文档数量在千万个以内的场景。 GRAPH_PQ:将HNSW算法与PQ
构化数据提取的特征向量数据进行最近邻或近似近邻检索。详情请参见向量检索。 存算分离 云搜索服务提供冻结索引API,支持将存储在SSD的热数据转储到OBS中以降低数据的存储成本,实现存算分离。详情请参见存算分离。 流量控制 云搜索服务支持流量控制,提供节点级别的流量控制功能,可提供
IndexInput openInput(String name, IOContext context) throws IOException; 存算分离特性就是通过Directory接口与OBS交互,读取OBS上的文件,实现冻结索引到OBS后仍可执行查询命令获取索引信息。 父主题: CSS集群管理