检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
缩容Logstash集群 当集群有充足的能力处理当前数据时,为节省资源可以缩容Logstash集群。 缩容Logstash集群是通过随机下线节点减少集群的“节点数量”,减少集群占用的资源。 前提条件 集群处于“可用”状态,且无正在进行的任务。
虚拟私有云 集群所属的虚拟私有云。 子网 集群所属的子网。 安全组 集群所属的安全组。 单击右侧的“更改安全组”可以修改集群的安全组信息。 须知: 进行安全组切换前,请确保业务接入时需要的9200端口已经放开,错误的安全组配置可能会导致业务无法访问,请谨慎操作。
表1 节点数量和AZ分布 集群节点个数 单AZ 两AZ AZ1 AZ1 AZ2 1个节点 1 不支持 2个节点 2 1 1 3个节点 3 2 1 4个节点 4 2 2 … … … … 规划节点存储 规划节点机型 由于Logstash集群不涉及存储大规格数据,推荐选用计算密集型机型。
扩缩容OpenSearch集群 扩容OpenSearch集群 缩容OpenSearch集群 父主题: 使用OpenSearch搜索数据
当数据量比较大时,滚动重启耗时较长。 滚动重启 前提条件 确认集群的“任务状态”没有正在执行中的任务,且集群未被冻结。 当集群处于可用状态时,确认集群已停止处理业务数据(如导入数据、搜索数据),否则重启集群时可能导致数据丢失等。 快速重启 登录云搜索服务管理控制台。
当替换的是数据节点或冷数据节点时,需要确认集群或节点是否满足以下条件。 替换数据节点或冷数据节点的过程中,会先将被替换节点的数据迁移到其他数据节点,因此集群中每个索引的副本数和主分片数之和的最大值要小于集群的数据节点数量和冷数据节点数量之和。
创建Logstash配置文件 Logstash集群通过配置文件定义迁移方案,从不同的数据源(input)迁移数据到不同的目的端(output)。 约束限制 创建的配置文件大小不能超过100k。
配置OpenSearch集群向量检索 向量检索特性介绍 在OpenSearch集群创建向量索引 在OpenSearch集群使用向量索引搜索数据 优化向量检索写入与查询性能 管理向量索引缓存 向量检索的客户端代码示例(Python) 向量检索的客户端代码示例(Java) 父主题: 增强
Elasticsearch集群监控 设置Elasticsearch集群SMN告警通知 设置Elasticsearch告警同步到Prometheus 智能检测Elasticsearch集群风险 查询和管理Elasticsearch集群日志 父主题: 使用Elasticsearch搜索数据
当数据的写入与查询突然变得缓慢时,可以升级数据节点的“节点规格”提高数据节点的查询与写入效率。 当存在冷数据查询缓慢时,可以升级冷数据节点的“节点规格”,提高数据查询的效率。 变更节点规格也支持将大规格更改为小规格,但是此变更会降低集群的处理性能,进而影响业务能力,请谨慎使用。
虚拟私有云 集群所属的虚拟私有云。 子网 集群所属的子网。 安全组 集群所属的安全组。 单击右侧的“更改安全组”可以修改集群的安全组信息。 须知: 进行安全组切换前,请确保业务接入时需要的9200端口已经放开,错误的安全组配置可能会导致业务无法访问,请谨慎操作。
通过索引生命周期管理实现Elasticsearch集群自动滚动索引 方案概述 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。
适用于如下场景: 当集群数据节点(ess)的写入与查询压力大、响应时间过长时,可以通过扩容数据节点的“节点存储容量”保证数据的持久性。如果因数据量过大或操作不当导致数据节点状态异常时,可以扩容“节点数量”保证集群的可用性。
管理OpenSearch集群索引策略 创建及管理OpenSearch索引策略 通过索引生命周期管理实现OpenSearch集群自动滚动索引 通过索引生命周期管理实现OpenSearch集群存算分离 父主题: 使用OpenSearch搜索数据
云上logstash集群保持默认值不变或使用自定义证书时输入相应的自定义证书路径。 自建Logstash集群,可以在开启SSL的ES集群详情页面下载证书文件,在此处输入相应的路径。 ssl 否 源端Elasticsearch集群启用SSL时,设置为true。
管理Logstash集群的CA证书 当Logstash集群连接CSS服务的Elasticsearch集群时,可以跳过本文直接使用默认CA证书,当连接其他需要安全认证的数据源时,则需要参考文本配置自定义证书。
集群索引重建 reindex.remote.whitelist 配置该参数可以将本集群数据通过reindex接口迁移到配置的集群,配置样例如“122.122.122.122:9200”。 自定义缓存 indices.queries.cache.size 查询阶段的缓存大小。
使用DSL语言在Elasticsearch中搜索数据 使用SQL语言在Elasticsearch中搜索数据 增强集群搜索能力 CSS服务的Elasticsearch集群基于社区版本提供了一系列增强特性,包括向量检索、存算分离、流量控制、大查询隔离、聚合增强、读写分离、冷热数据切换、
父主题: 使用Logstash迁移数据
支持多选,进行数据对比。 支持设置监控时间,以及查看同一集群的同比/环比数据。 添加视图分组:支持在默认分组的基础上新增自定义的分组。当鼠标悬停在左侧分组名称上,右侧会显示修改名称和删除分组的图标,可以修改分组。