检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
优化Elasticsearch和OpenSearch集群查询性能 CSS服务中的Elasticsearch和OpenSearch集群在使用前,建议参考本文进行集群的查询性能优化,便于提高集群的查询性能,提升使用效率。 数据查询流程 图1 数据查询流程 如图1所示,以Elastic
测试数据源和目的端与Logstash集群之间的网络连通性,确保数据传输畅通:测试连通性 通过启动配置文件启动Logstash迁移任务。 当管道列表没有“工作中”的任务时,则启动配置文件。 当管道列表有“工作中”的任务时,则热启动配置文件。 通过指标监控、操作记录和运行日志监控迁移任务。
写入数据的流程。图中的P表示主分片Primary,R表示副本分片Replica,主副分片在数据节点Node里是随机分配的,但是不能在同一个节点里。 客户端向Node1发送写数据请求,此时Node1为协调节点。 节点Node1根据数据的_id将数据路由到分片2,此时请求会被转发到Node3,并执行写操作。
从而影响CSS服务的默认路由的设置,最终导致9200端口访问失败。 处理步骤 当出现9200端口访问失败错误时,且CSS集群状态为可用状态。执行步骤如下所示: 进入CSS服务管理控制台,在集群列表中,单击集群名称进入集群详情页面,查看此集群使用的VPC和子网。 进入VPC服务管理
其余节点的磁盘容量能够接纳该节点的所有数据。 集群中索引的最大主备分片数能够被分配到剩余数据节点和冷数据节点中,防止切换过程中出现节点下线后副本无法分配的情况。即“索引的主备分片数的最大值+1 ≤ 切换前的数据节点数和冷数据节点之和”。 当集群处于切换可用区过程中,部分节点的AZ
其余节点的磁盘容量能够接纳该节点的所有数据。 集群中索引的最大主备分片数能够被分配到剩余数据节点和冷数据节点中,防止切换过程中出现节点下线后副本无法分配的情况。即“索引的主备分片数的最大值+1 ≤ 切换前的数据节点数和冷数据节点之和”。 当集群处于切换可用区过程中,部分节点的AZ
icsearch强大的搜索和分析能力。 日志分析与检索:将MySQL中的日志数据同步到Elasticsearch,进行快速检索和分析。 应用性能监控:将应用性能数据存储在MySQL中,通过Logstash同步到Elasticsearch,进行实时监控和性能分析。 数据备份与恢复:
leader1 主集群配置任务的名称,由用户自定义,在后续读写分离配置时会用到该名称。 seeds 主集群的访问地址。当集群开启HTTPS访问时,URL schema需要对应使用https。 username 主集群的用户名,仅主集群是安全集群时才需要配置。 password 主集群的密码,仅主集群是安全集群时才需要配置。
StartKibanaPublicReqElbWhitelist elbWhiteListbody = new StartKibanaPublicReqElbWhitelist(); elbWhiteListbody.withEnableWhiteList(true)
StartKibanaPublicReqElbWhitelist elbWhiteListbody = new StartKibanaPublicReqElbWhitelist(); elbWhiteListbody.withEnableWhiteList(true)
withInstType("{inst_type}"); UpgradingTheKernelBody body = new UpgradingTheKernelBody(); body.withAgency("css-test-agency");
高亮提示:提供高亮能力,页面可自定义高亮显示方式。 图1 站内搜索场景 全场景日志分析 云搜索服务可用于全场景日志分析,包括ELB日志、服务器日志、容器和应用日志。其中Kafka作为消息缓冲队列,用于削峰填谷,Logstash负责数据ETL,Elasticsearch负责数据检索
能可以快速进行数据统计和分析,如年龄分布统计等,这在关系型数据库中可能需要更多的计算资源和时间。 安全性和稳定性:通过配置安全模式的Elasticsearch集群和MySQL数据库,以及使用SSL安全连接,可以保证数据传输的安全性和系统的稳定性。 易于监控和维护:Elastics
28:9200", "elbWhiteListResp" : null, "bandwidthResourceId" : "18bec13f-5cc1-4631-867f-33505d15be12" }, "elbWhiteList" : {
实例个数。 ess节点,选择范围:1~32个节点数量。 若同时选择ess和ess-master时,可以选择1~200个节点数量。 若同时选择ess和ess-client时,可以选择1~32个节点数量。 若同时选择ess和ess-cold时,可以选择1~32个节点数量。 ess-mast
参数类型 描述 project_id 是 String 参数解释: 项目ID。获取方法请参见获取项目ID和名称。 约束限制: 不涉及 取值范围: 获取方法请参见获取项目ID和名称。 默认取值: 不涉及 cluster_id 是 String 参数解释: 指定待查询的集群ID,获取方法请参见获取集群ID。
如果集群长期处于高负载状态,则集群会存在写入、查询缓慢等情形,建议根据业务需要升级节点规格或者对集群节点的数量和存储容量进行扩容,使集群更好的满足业务需求。升级节点规格、扩容节点数量和节点存储容量的指导请参见扩容Elasticsearch集群。 查询集群是否存在任务堆积。 方式一:在Kibana的“Dev
参数类型 描述 project_id 是 String 参数解释: 项目ID。获取方法请参见获取项目ID和名称。 约束限制: 不涉及 取值范围: 获取方法请参见获取项目ID和名称。 默认取值: 不涉及 表2 Query参数 参数 是否必选 参数类型 描述 start 否 Integer
max_buckets”的值来允许更多的bucket返回。但是需要注意,增加“search.max_buckets”的值也会增加集群的负载和内存使用,因此需要谨慎使用。 解决方案 在Kibana的“Dev Tools”页面执行如下命令: PUT _cluster/settings
集群的数据结构和分布进行规划。这包括合理设计索引和确定分片数量。为了确保集群在性能和可扩展性方面达到最佳状态,以下是一些建议。 单个分片大小:建议将每个分片的大小控制在10GB到50GB之间。这有助于在存储效率和查询性能之间取得平衡。 集群总分片数量:为了管理方便和避免过度扩展,