检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看Elasticsearch集群信息 创建Elasticsearch集群用户并授权使用 设置Elasticsearch集群标签 配置Elasticsearch集群YML文件默认参数 为Elasticsearch集群绑定企业项目 变更Elasticsearch集群节点规格 替换Elasticsearch集群指定节点
Tools”,进入操作页面。 在Kibana操作页面设置template,通过设置集群模板将相应的索引数据存储到冷热数据节点上。 例如,执行如下命令设置template将以“myindex”开头的索引存储到冷数据节点上。 Elasticsearch版本<6.x的创建模板命令 PUT _template/test
1个节点 1 不支持 2个节点 2 1 1 3个节点 3 2 1 4个节点 4 2 2 … … … … 规划节点存储 规划节点机型 由于Logstash集群不涉及存储大规格数据,推荐选用计算密集型机型。 规划节点规格 在规划节点规格时,推荐优先考虑高配置但节点数量较少的方案。例如
variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.get
h连接css服务的时候,会检查es是否启用了x-pack。 处理步骤 删除logstash中的x-pack目录。 修改logstash配置文件output标签下elasticsearch内添加配置项ilm_enabled => false。 重新尝试推送数据到es。 父主题: 数据导入导出类
小或文档数等信息的变化来自动触发周期性的管理操作。通过ISM插件可以自定义索引策略,实现自动处理索引的滚动或删除,以优化集群搜索性能或降低存储成本。ISM的使用流程: 创建生命周期策略:在Kibana创建索引的生命周期策略Policy。 索引关联生命周期策略:将索引关联上创建的生命周期策略,生成索引策略。
节点规格”、“节点数量”和“节点存储”。“节点数量”可设置为1~32任意数值。“节点存储”的存储容量为固定值,存储类型可以根据实际情况选择。 启用冷数据节点 冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。 启用冷数据节点
某用户于2023/03/18 15:30:00购买了一个Elasticsearch类型的按需计费集群,规格配置如下: 节点规格:ess.spec-4u8g 节点存储:普通I/O,40GB Kibana公网访问带宽:6Mbit/s 用了一段时间后,用户发现集群当前规格无法满足业务需要,于2023/03/20
的详细说明可参考弹性云服务器的实例类型与规格。 节点存储 当“节点规格”选择的是云硬盘时,需要选择集群节点的云硬盘类型。节点存储支持普通I/O、高I/O、超高I/O、极速型SSD。 说明: 如果当前局点的存储类型不支持,则界面不显示。 节点存储容量 设置节点的存储空间大小,其取值
电商,APP搜索,配合超高IO的磁盘。成本较高,相对于NVMe的本地盘集群可靠性强。 磁盘增强型 1:8 磁盘较大,本地SAS直通盘。适合存储大量数据的日志、舆情场景等场景。一般冷节点优选这种规格。 通用计算型 1:4 默认规格,使用较频繁,各种场景都能使用,如果没有特别要求,可选择该规格。
通过索引生命周期管理实现OpenSearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到
务管理控制台创建与折扣套餐包中区域、节点规格、节点存储类型或带宽类型相同的集群才能使用该折扣套餐。创建集群的具体操作步骤请参见创建Elasticsearch集群。 折扣套餐包的计费方式是用户预先购买一定的云搜索服务节点实例、存储类型或者带宽类型、使用小时数配额。在使用过程中,系统
计费项 说明 节点规格 包括vCPUs和内存。 节点存储 节点的磁盘存储类型和节点存储大小。 公网带宽 集群开通公网访问或者Kibana公网访问功能时,会产生带宽费用,带宽的计费模式同为按需计费。 假设您计划购买一个节点存储为高I/O 40GB的集群,且选择Kibana公网访问
向量检索特性介绍 存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 存算分离和切换冷热数据比,更适用于对搜索性能要求不高的场景,冷数据存储在OBS中,存储成本更低一些。 OpenSearch 1.3.6 配置OpenSearch集群存算分离
按需计费资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。 当存储在对象存储服务OBS中的快照数据不再使用时,可以删除数据,以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度
删除Elasticsearch集群快照 当快照信息不需要使用时,您可以删除快照释放存储资源。 当自动创建快照功能开启时,自动创建的快照无法手动删除,系统会按照设置的策略在半点时刻自动删除超过“保留时间”的快照。 当自动创建快照功能开启又关闭了,关闭时,之前已自动创建的快照并未同步
删除OpenSearch集群快照 当快照信息不需要使用时,您可以删除快照释放存储资源。 当自动创建快照功能开启时,自动创建的快照无法手动删除,系统会按照设置的策略在半点时刻自动删除超过“保留时间”的快照。 当自动创建快照功能开启又关闭了,关闭时,之前已自动创建的快照并未同步删除,
在嵌套字段中使用向量索引 使用嵌套字段可以实现在单条文档中存储多条向量数据,比如在RAG场景中,文档数据通常需要按段落或按长度进行切分,分别进行向量化得到多条语义向量,通过嵌套字段(Nested)可以将这些向量写入同一条ES的文档中。对于包含多条向量数据的文档,查询时任意一条向量数据与查询向量相似便会返回该条文档。
据提取的特征向量数据进行最近邻或近似近邻检索。详情请参见向量检索。 存算分离 云搜索服务提供冻结索引API,支持将存储在SSD的热数据转储到OBS中以降低数据的存储成本,实现存算分离。详情请参见存算分离。 流量控制 云搜索服务支持流量控制,提供节点级别的流量控制功能,可提供单个节
提升分组聚合能力依赖排序键和聚簇键。 排序键:数据按照排序键顺序存储。 聚簇键:是排序键的前缀子集,数据按照聚簇键聚簇在一起。 聚合增强常见的使用场景请参见表1。 表1 聚合增强的使用场景 场景 描述 相关文档 低基字段聚合 表示对具有较少不同值的列进行聚合,如对一个存储类别的列进行聚合。 低基字段分组聚合