检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tion" } 问题分析 引起bulk reject的大多原因是shard容量过大或shard分配不均,具体可通过以下方法进行定位分析。 检查分片(shard)数据量是否过大。 单个分片数据量过大,可能引起Bulk Reject,建议单个分片大小控制在20GB - 50GB左右。
lasticsearch和OpenSearch引擎作为数据存储引擎,需要重点关注版本生命周期。 目前CSS历史提供过的大版本如下,版本号与开源版本号保持一致。 Elasticsearch引擎:5.5.1、6.2.3、6.5.4、6.8.23(升级中间版本)、7.1.1、7.6.2、7
CSS服务的Elasticsearch集群默认提供Kibana,无需安装部署,即可一键访问Kibana,同时CSS服务的Elasticsearch集群也兼容了开源Kibana的可视化展现和Elasticsearch统计分析能力。 Kibana支持多种访问方式,不同访问方式登录Elasticsearch集群的操作有差异,具体请参见表1。
使用Logstash迁移数据 Logstash是一款收集、转换、清洗、解析数据的工具,本章节为您提供了一个使用Logstash集群完成Elasticsearch集群间数据迁移的示例,您可以参考此示例来了解Logstash服务,包括创建集群、导入导出数据、任务配置等操作。 视频介绍
earch和OpenSearch中,方便用户通过CSS搜索引擎高效管理和获取数据。数据文件支持JSON、CSV等格式。 Logstash是开源的服务器端数据处理管道,能够同时从多个来源采集数据、转换数据,然后将数据发送到Elasticsearch或OpenSearch中。Logs
earch和OpenSearch中,方便用户通过CSS搜索引擎高效管理和获取数据。数据文件支持JSON、CSV等格式。 Logstash是开源的服务器端数据处理管道,能够同时从多个来源采集数据、转换数据,然后将数据发送到Elasticsearch或OpenSearch中。Logs
表5 节点数量的计算方式 节点 性能基线 节点数量计算方式 示例 写入节点 对于挂载云盘的节点,其单核写入性能基线为1MB/s。 对于超高IO型的节点,其单核写入性能基线为1.5MB/s。 写入节点数=业务峰值时的流量÷单节点的核数÷单核写入性能基线x副本数 业务峰值写入100MB/
使用Elasticsearch自定义规则排序搜索结果 通过Elasticsearch集群可以对搜索结果进行自定义规则排序。 应用场景 Elasticsearch是一个高度可扩展的开源搜索和分析引擎,支持用户通过自定义规则对搜索结果进行排序。自定义排序允许开发者根据业务需求,定义特定的排序规则,以优化搜索结果的相关性和用户体验。该方案可以用于以下场景:
rebro、开源API、Java、Python和Go客户端,以及通过内网和公网的多种网络配置,用户可根据编程语言偏好和网络环境选择最合适的接入方法。 OpenSearch集群访问方式 导入数据 OpenSearch集群提供多种数据导入方式,包括Logstash、开源Elasticsearch
访问失败的问题,待集群升级成功后会自动恢复。 升级前检查 为了保证升级成功,需要做升级前检查,升级前检查主要包括如下事项: 表1 升级前检查项 检查项 检查方式 描述 正常状态 集群状态 系统检查 升级任务启动后,系统会自动检查集群状态。集群状态为green或者yellow,表示
访问失败的问题,待集群升级成功后会自动恢复。 升级前检查 为了保证升级成功,需要做升级前检查,升级前检查主要包括如下事项: 表2 升级前检查项 检查项 检查方式 描述 正常状态 集群状态 系统检查 升级任务启动后,系统会自动检查集群状态。集群状态为green或者yellow,表示
表6 节点数量的计算方式 节点 性能基线 节点数量计算方式 示例 写入节点 对于挂载云盘的节点,其单核写入性能基线为1MB/s。 对于超高IO型的节点,其单核写入性能基线为1.5MB/s。 写入节点数=业务峰值时的流量÷单节点的核数÷单核写入性能基线x副本数 业务峰值写入100MB/
性能均优于开源引擎。能够满足高性能、高精度、低成本、多模态等多种应用场景及需求。 向量检索支持原生Elasticsearch的所有能力,包括分布式、多副本、错误恢复、快照、权限控制等;兼容所有原生Elasticsearch生态,包括集群监测工具Cerebro,可视化工具Kiban
性能均优于开源引擎。能够满足高性能、高精度、低成本、多模态等多种应用场景及需求。 向量检索支持原生Elasticsearch的所有能力,包括分布式、多副本、错误恢复、快照、权限控制等;兼容所有原生Elasticsearch生态,包括集群监测工具Cerebro,可视化工具Kiban
ro、开源API、Java、Python和Go客户端,以及通过内网和公网的多种网络配置,用户可根据编程语言偏好和网络环境选择最合适的接入方法。 Elasticsearch集群访问方式 导入数据 Elasticsearch集群提供多种数据导入方式,包括Logstash、开源Elasticsearch
SQL数据库,以及使用SSL安全连接,可以保证数据传输的安全性和系统的稳定性。 易于监控和维护:Elasticsearch提供了丰富的监控工具和API,使得系统维护和性能监控变得更加容易。 扩展性:Elasticsearch集群可以根据业务需求进行水平扩展,增加更多的节点来处理更大的数据量和查询负载。
Logstash开源服务器端实时数据处理管道,支持多个来源采取数据。适用场景多,比如日志数据、监控数据、metric数据等流数据。 JSON、CSV、文本等多种格式 使用自建Logstash导入数据到Elasticsearch 开源Elasticsearch API 使用开源Elasticsearch
服务中,从而更加方便地发现其中的价值。同时您也可以单独使用Logstash云服务处理数据发送到其他的系统中。 介绍视频 产品功能 开源兼容 兼容开源Elasticsearch和OpenSearch软件原生接口,并支持Logstash、Beats、Kibana等周边生态。 接入多种数据源
Logstash开源服务器端实时数据处理管道,支持多个来源采取数据。适用场景多,比如日志数据、监控数据、metric数据等流数据。 JSON、CSV、文本等多种格式 使用自建Logstash导入数据到OpenSearch 开源OpenSearch API 使用开源OpenSearch
Elasticsearch针对filebeat配置调优 问题现象 filebeat是性能非常出色的文件采集工具,绝大多数的业务日志可以很容易的在1秒内收集至elasticsearch内,但是个别日志量大的业务日志无法及时收集,按照官方的默认配置通常1核CPU分配给filebeat