检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确保节点的稳定运行。 索引分片与节点数的关系:对于单个索引,建议其分片数与集群的节点数保持一致,或者设置为节点数的整数倍。这有助于实现负载均衡,优化查询和索引的性能。 通过以上建议,可以更有效地规划和管理CSS集群的索引分片,从而提升集群的整体性能和可维护性。 父主题: 使用Elasticsearch搜索数据
使用Elasticsearch和Logstash构建日志管理平台的方案架构如图1所示。 图1 ELKB架构 数据收集 Beats作为数据收集器,负责从各种源收集数据并发送到Logstash。 Logstash可以独立收集数据,或从Beats接收数据,对数据进行过滤、转换和增强。 数据处理 Logstash
访问集群将进行通讯加密。 说明: 安全集群使用HTTPS通信,相比非安全集群使用HTTP通信在读取性能上会降低,预期相对HTTP集群在大并发压力下有20%的性能劣化。如果想要读取性能快,又想要使用安全集群所提供的用户权限隔离资源(索引、文档、字段等)的功能,则可以关闭HTTPS
withInstType("{inst_type}"); UpgradingTheKernelBody body = new UpgradingTheKernelBody(); body.withAgency("css-test-agency");
28:9200", "elbWhiteListResp" : null, "bandwidthResourceId" : "18bec13f-5cc1-4631-867f-33505d15be12" }, "elbWhiteList" : {
访问目标Elasticsearch集群的用户名和密码,仅安全集群涉及。 -w, --workers= 5 读取源端数据速率控制参数,Bulk读取数据并发线程数。 默认值:1 -b, --bulk_size= 10 读取源端数据速率控制参数,Bulk一次读取数据的数据大小。 默认值:5MB
publicKibanaResp publicKibanaRespBody object 参数解释: Kibana公网访问信息。 elbWhiteList elbWhiteListResp object 参数解释: 公网访问信息。 updated String 参数解释: 集群上次修改时间,格式为ISO8601:
eipSize 是 Integer 带宽大小。 elbWhiteList 是 CreateClusterPublicKibanaElbWhiteList object kibana白名单信息。 表16 CreateClusterPublicKibanaElbWhiteList 参数 是否必选 参数类型
访问集群将进行通讯加密。 说明: 安全集群使用HTTPS通信,相比非安全集群使用HTTP通信在读取性能上会降低,预期相对HTTP集群在大并发压力下有20%的性能劣化。如果想要读取性能快,又想要使用安全集群所提供的用户权限隔离资源(索引、文档、字段等)的功能,则可以关闭HTTPS
MySQL等)受限于全文检索和Ad Hoc查询能力,因此会将Elasticsearch作为关系型数据库的补充,以此提升数据库的全文检索能力和高并发的Ad Hoc查询能力。 构建日志管理平台 使用Elasticsearch和Logstash构建日志管理平台 使用云搜素服务搭建的统一日志
publicKibanaResp publicKibanaRespBody object 参数解释: Kibana公网访问信息。 elbWhiteList elbWhiteListResp object 参数解释: 弹性IP白名单列表。 updated String 参数解释: 集群上次修改时间,格式为ISO8601:
缩容Elasticsearch集群 当集群有充足的能力处理当前数据时,为节省资源可以参考本文缩容集群的节点数量。 场景描述 CSS服务支持多种缩容场景,如表1所示。 表1 缩容场景 场景 描述 相关文档 缩容随机节点 缩容随机节点是基于节点类型随机下线节点减少集群的“节点数量”,减少集群占用的资源。
取值范围: accepted:允许该终端节点连接。 rejected:拒绝该终端节点连接。 maxSession String 参数解释: 最大连接数。 specificationName String 参数解释: 终端节点名称。 created_at String 参数解释: 创建时间
智能检测Elasticsearch集群风险 CSS服务提供智能运维功能,支持检测集群潜在风险,并给出风险处理的建议。 场景描述 集群的智能运维支持以下功能: 启动检测任务:通过启动检测任务,触发系统智能诊断集群的健康状况。 查看集群风险项:检测任务完成后,可以查看集群存在的风险项
智能检测OpenSearch集群风险 CSS服务提供智能运维功能,支持检测集群潜在风险,并给出风险处理的建议。 场景描述 集群的智能运维支持以下功能: 启动检测任务:通过启动检测任务,触发系统智能诊断集群的健康状况。 查看集群风险项:检测任务完成后,可以查看集群存在的风险项详情,根据风险建议及时处理集群存在的风险。
Elasticsearch显示CPU使用率高,导致日志无法写入 问题现象 Elasticsearch在某一时间段CPU比较高,logstash在该时刻报错Elasticsearch Unreachable,导致日志无法写入到Elasticsearch里。 原因分析 客户index
配置Elasticsearch集群存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明
变更OpenSearch集群节点规格 当Elasticsearch或OpenSearch集群的数据面业务变化,需要动态调整集群的节点规格和磁盘类型时,可以参考本文变更规格。 场景描述 表1 变更规格场景 场景 描述 约束限制 升级节点规格 基于某一节点类型变更集群的“节点规格”。
变更Elasticsearch集群节点规格 当Elasticsearch或OpenSearch集群的数据面业务变化,需要动态调整集群的节点规格和磁盘类型时,可以参考本文变更规格。 场景描述 表1 变更规格场景 场景 描述 约束限制 升级节点规格 基于某一节点类型变更集群的“节点规
-c60 -t60 -d10m -s perf.lua http://x.x.x.x:9200 “t”表示压测线程数。 “c”表示与服务端的连接数。 “d”表示压测时间,“10m”表示10分钟 。 “s”表示Wrk的压测配置脚本。 “x.x.x.x”表示Elasticsearch集群的访问地址。