检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过索引生命周期管理实现Elasticsearch集群自动滚动索引 方案概述 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。 本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建
开发和测试效率。 在业务发生故障或数据丢失的情况下,通过迁移Kibana图表到备份集群,可以快速恢复数据监控和分析能力。 在多集群环境中,可能需要将不同Elasticsearch集群的数据和可视化图表整合到一个统一的集群,以便于实现跨集群的数据分析和管理。 这些场景展示了Kiba
CSS集群平均已用内存比例达到98%怎么办? 问题现象 查看集群监控发现,Elasticsearch集群“平均已用内存比例”一直处于98%,用户担心内存比例过高是否对集群有影响。 问题原因 在Elasticsearch集群中,Elasticsearch会占用50%内存,另外50%
云搜索服务的词库用于对文本进行分词,使得一些特殊词语在分词的时候能够被识别出来,便于根据关键词搜索文本数据。例如,根据公司名称来查询,如“华为”;或者根据网络流行词来查询,如“喜大普奔”。也支持基于同义词词库,根据同义词搜索文本数据。 CSS服务使用的分词器包括IK分词器和同义词分词器。IK分词器配备主词词
CSS服务中如何设置Elasticsearch集群的默认分页返回最大条数? 解决方案 方法1: 打开Kibana,在DevTools界面执行如下命令: PUT _all/_settings?preserve_existing=true { "index.max_result_window"
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector.inde
Elasticsearch的索引组成 查询性能优化 基于Elasticsearch的数据查询流程分析,有以下几种性能优化方案。 表1 查询性能优化 优化方案 方案说明 通过routing减少检索扫描的分片数 在数据入库时指定routing值,将数据路由到某个特定的分片,查询时通过该routing值将请求转
_tier_preference特性为例,当前集群是7.9.3版本,这个索引特性是在7.10版本之后才支持的,低版本集群使用该特性将无法分配索引的分片,导致集群不可用。 确定集群是否必须使用该不匹配的特性。 是,创建与所需索引特性相匹配的版本集群,然后将老集群的数据通过备份恢复至新集群。 否,执行下一步。
创建Logstash配置文件 启动Logstash迁移任务 停止Logstash迁移任务 Logstash配置文件模板介绍 父主题: 使用Logstash迁移数据
味着test用户能看到任意的“.kibana”信息。test用户默认只能看到Private Tenant和Global Tenant空间的数据,如果需要访问其他用户的Tenant空间,则需要通过管理员账户在test用户的Role中定义其他空间的index_pattern、dashboard等信息的访问权限。
所有“快照类型”为自动创建的快照(包含开启自动创建快照功能前已存在的自动创建的快照)都无法手动删除,只会被系统自动删除。 快照信息删除后,数据将无法恢复,请谨慎操作。 手动删除快照 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要进行备份的集群名称,进入集群基本信息页面。
求。 冷数据节点(ess-cold) 冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。 需要存储大量历史数据:当需要存储大量不常访问但对分析有用的历史数据时,使用冷数据节点可以提供成本效益较高的存储解决方案。 需要优化热数
2 2 … … … … 规划节点存储 规划节点机型 由于Logstash集群不涉及存储大规格数据,推荐选用计算密集型机型。 规划节点规格 在规划节点规格时,推荐优先考虑高配置但节点数量较少的方案。例如,一个由3个节点组成的集群,每个节点配置为32核CPU和64GB内存,通常比一个
单击创建pattern无反应,无法创建pattern。 问题原因 检查磁盘是否太满,导致Kibana索引为只读状态。 检查是否有多个Kibana索引。 解决方案 执行以下命令删除不必要的索引数据,释放磁盘空间。 PUT .kibana/_settings { "index": { "blocks": { "read
8,分布极不均匀。 解决方案 如果问题是由分片数据量过大导致。 分片大小可以通过index模板下的“number_of_shards”参数进行配置。 模板创建完成后,再次新创建索引时生效,旧的索引不能调整。 如果问题是由分片数分布不均匀导致。 临时解决方案: 可以通过如下命令设置“routing
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector.inde
云搜索服务的词库用于对文本进行分词,使得一些特殊词语在分词的时候能够被识别出来,便于根据关键词搜索文本数据。例如,根据公司名称来查询,如“华为”;或者根据网络流行词来查询,如“喜大普奔”。也支持基于同义词词库,根据同义词搜索文本数据。 CSS服务使用的分词器包括IK分词器和同义词分词器。IK分词器配备主词词
系统的容错能力。 当现有Logstash节点处理能力达到极限,无法满足日益增长的数据量时,扩容可以提供更多的处理能力,保证数据流的顺畅处理。 当Logstash集群需要执行更复杂的数据处理逻辑,如数据丰富、转换等,扩容可以提供更多的计算资源来处理这些任务 。 扩容节点数量 升级节点规格
向量检索支持对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。 原理说明 向量检索从本质上讲,其思维框架和传统的检索方法没有区别。为了提升向量检索的性能,通常需要解决以下两个问题: 减少候选向量集 和传统的文本检索类似,向量检索也需要某种索引结构来避免在全量的数据上做匹配,传统文
通过索引生命周期管理实现OpenSearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到OBS中;当索引创建7天后,删除该索引。