正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
overhead spent [x.xs] collecting in the last [x.xs]”。 图1 频繁GC导致OOM 原因分析 集群负载过高,可能是有大量查询或写入任务堆积。当堆内存不足时,任务无法分配,将频繁触发GC,导致Elasticsearch进程异常退出。
于2023/03/20 10:30:00将集群转为包年/包月计费,购买时长为1个月。那么在3~4月份,该集群总共产生多少费用呢? 计费构成分析 可以将集群的使用阶段按照计费模式分为两段: 在2023/03/18 15:30:00 ~ 2023/03/20 10:30:00期间为按需计费。
索引副本个数,此处以修改为2个索引副本为例。 当采用多可用区部署时,如果某个可用区发生故障,相关的业务故障行为分析及应对策略请参见表2。 表2 AZ故障的业务故障行为分析 可用区数量 主节点个数 业务中断行为及应对建议 2 0 如果节点个数为2的倍数: 一半的数据节点故障,需要替
核CPU分配给filebeat时,写ES的速率低于1M/S,这里可以针对filebeat.yml配置文件做优化,提高写入ES的性能。 原因分析 filebeat.yml的默认配置比较保守,在日志量很大的业务场景,需要修改filebeat.yml参数进行调优。 处理步骤 针对filebeat
], have discovered [xxx...] which is not a quorum”。 图1 节点报错日志示例 原因分析 出现以上报错日志表示集群各节点之间无法通信,导致集群无法进行选主,可能原因是集群当前所选安全组未放通9300端口。 云搜索服务在7.6.
索引副本个数,此处以修改为2个索引副本为例。 当采用多可用区部署时,如果某个可用区发生故障,相关的业务故障行为分析及应对策略请参见表2。 表2 AZ故障的业务故障行为分析 可用区数量 主节点个数 业务中断行为及应对建议 2 0 如果节点个数为2的倍数: 一半的数据节点故障,需要替
当云搜索服务资源不再使用时,可以将集群退订或删除,从而避免继续收费。详细介绍请参见10 停止计费。 成本管理 您可以从成本构成、成本分配、成本分析和成本优化四个维度来管理成本。更多详情,请参见11 成本管理。
监控与日志管理 CSS服务提供全面的监控和日志管理功能,包括集群、节点和Logstash管道监控指标、告警规则配置、日志备份与查看,帮助用户有效监控和分析Logstash集群,确保集群的稳定性。 CES中Logstash集群支持的监控指标 使用CES监控Logstash集群 查询和管理Logstash集群日志
节点存储”的存储容量为固定值,存储类型可以根据实际情况选择。 启用Client节点 Client节点用于提供客户端接入集群和分析数据的服务。当需要存储和分析的数据量大,所需节点数量大于20个节点时,建议启用Client节点,保证集群的稳定性。反之,建议仅设置集群的“节点数量”参数
CSS服务中为什么新创建的索引分片集中分配到单节点上? 原因分析 新建索引分片被集中分配于一个node节点上可能有以下原因: 之前索引的分配导致某个节点上的shards数量过少,新建索引shards分配被balance.shard参数主导,为了平衡所有索引的全部分片,将shards集中分配在数量过少的节点上。
集群在使用前,建议参考本实践进行集群的查询性能优化,便于提高集群的查询性能,提升使用效率。 加速关系型数据库查询 使用Elasticsearch加速关系型数据库的查询分析 关系型数据库(例如MySQL、GaussDB for MySQL等)受限于全文检索和Ad Hoc查询能力,因此会将Elasticsear
接Elasticsearch运行一段时间就会出现Connection reset by peer,TCP连接中断,业务数据写入失败。 原因分析 连接关闭有很多原因,是Elasticsearch服务器端不能完全控制的。例如,有可能关闭了连接,有可能有防火墙,交换机,VPN等,也有可
集群整合:将分散在不同第三方Elasticsearch集群中的数据统一数据迁移到华为云Elasticsearch集群进行集中管理,以实现更高效的数据分析和查询。 跨版本迁移:将低版本的第三方Elasticsearch集群数据迁移到高版本的华为云Elasticsearch集群中。 技术栈统一
各个Segment的方式进行查询。 图2 Elasticsearch的索引组成 查询性能优化 基于Elasticsearch的数据查询流程分析,有以下几种性能优化方案。 表1 查询性能优化 优化方案 方案说明 通过routing减少检索扫描的分片数 在数据入库时指定routing
Real-Time Search。 图3 文档插入Elasticsearch的流程 写入性能优化 基于Elasticsearch的数据写入流程分析,有以下几种性能优化方案。 表1 写入性能优化 优化方案 方案说明 使用SSD盘或升级集群配置 使用SSD盘可以大幅提升数据写入与merg
迁移时长可控:基于迁移时长评估公式可以配置数据迁移速率,理想状态下等于文件复制速率。 约束限制 目标集群的版本不能低于源集群的版本,版本兼容性分析请参见Snapshot version compatibility。 目标集群的节点数要大于源集群的节点数的一半,且不能小于源集群的shard副本数。
空闲量继续读取请求。 开启内存流控 请求采样统计 可以记录客户端IP的访问和客户端的请求类型,用户可以基于统计值识别客户端IP的访问流量,分析当前客户端的写入和查询访问量。 开启请求采样统计 一键断流 可以切断节点的所有客户端连接,不包括Kibana访问和CSS后台运维、监控类接
据节点将同时具备集群管理、存储数据、提供接入集群和分析数据的功能。此时,为保证集群中数据的稳定性,建议设置节点数量大于等于3个。 当集群启用了Master节点但未启用Client节点时,数据节点将用于存储数据并提供接入集群和分析数据的功能。 当集群未启用Master节点但启用了C
据节点将同时承担集群管理、存储数据、提供接入集群和分析数据的职责。此时,为保证集群中数据的稳定性,建议设置节点数量大于等于3个。 当集群启用了Master节点但未启用Client节点时,数据节点将用于存储数据并提供接入集群和分析数据的功能。 当集群未启用Master节点但启用了C
添加Path全局免流控白名单 请求采样统计 可以记录客户端IP的访问数量和采样用户的请求Path,用户可以基于统计值识别客户端IP的访问流量和分析哪些请求Path访问量大。 开启请求采样统计 一键断流 可以切断节点的所有访问流量,不包括kibana访问和elasticsearch monitor类接口。