检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch集群数据迁移方案介绍 表1 Elasticsearch集群迁移方案 迁移场景 迁移工具 适用场景 使用限制 场景示例 华为云Elasticsearch集群间数据迁移 华为云Logstash 适用于低版本的华为云Elasticsearch集群到高版本的数据迁移。
入门实践 云搜索服务为您提供各种业务场景、方案架构的最佳实践,方便您根据自身的业务场景选择合适的实践方案。 表1 常用最佳实践 实践场景 描述 数据迁移 通过华为云Logstash实现Elasticsearch集群间数据迁移 华为云Logstash是一款全托管的数据接入处理服务,
es-head插件连接Elasticsearch集群报跨域错误 解决方案 在安装es-head的云主机上测试网络是否连通。 网络连通后,登录云搜索服务管理控制台。 在“集群管理”页面,单击需要修改参数配置的集群名称,进入集群基本信息页面。 选择“参数配置”,单击“编辑”,将“http
审计与日志 审计 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录CSS服务的操作事件用于审计。
重启Elasticsearch集群 集群停止工作时,您可通过重启集群恢复运行。 场景描述 重启集群支持快速重启和滚动重启,两种方案的使用说明请参见表1。建议在业务空闲时执行重启操作。 表1 重启方案 方案 使用说明 相关文档 快速重启 所有集群都支持。 当选择“节点类型”快速重启时,所选类型的所有节点会一起重启。
kibana/_settings命令查询kibana索引的状态,如果状态为“true”,说明集群磁盘过高。 问题原因 索引置为只读状态导致。 解决方案 将kibana索引只读状态改为“false”后再执行创建index pattern。 在kibana的“Dev Tools”页面,执行如下命令:
的召回率。在进一步调整构建参数和查询参数后,增加了一定的索引构建开销,同时也达到更高的查询性能。 测试方案二:使用同一数据集,通过调整索引参数,测试不同召回率下的查询性能。本方案用COHERE数据集,分别测试了Top10召回率为99%、98%及95%时的集群最大QPS。 测试结果:
的可视化查询与分析。该方案可以用于以下场景: 日志管理:集中管理应用程序和系统日志,快速定位问题。 安全监控:检测和响应安全威胁,进行入侵检测和异常行为分析。 业务分析:分析用户行为,优化产品和服务。 性能监控:监控系统和应用程序性能,实时发现瓶颈。 方案架构 ELKB(Elas
创建Logstash配置文件 Logstash集群通过配置文件定义迁移方案,从不同的数据源(input)迁移数据到不同的目的端(output)。 约束限制 创建的配置文件大小不能超过100k。 Logstash集群允许最多配置50个配置文件,最多可以同时存在5个“状态”为“校验中”的配置文件。
0011错误 原因分析 当前集群未设置副本数,后台拦截了更改规格的请求。需要设置好副本数,再进行更改规格操作,否则会有分片丢失的风险。 解决方案 设置副本参数: PUT /index/_settings { "number_of_replicas" : 1 //表示需要设置的副本数
Elasticsearch集群报错unassigned shards all indices,集群状态为red。 原因分析 当前集群存在未分配的shard。 解决方案 在Kibana的“Dev Tools”页面,执行如下命令: POST /_cluster/reroute?retry_failed=true
重启OpenSearch集群 集群停止工作时,您可通过重启集群恢复运行。 场景描述 重启集群支持快速重启和滚动重启,两种方案的使用说明请参见表1。建议在业务空闲时执行重启操作。 表1 重启方案 方案 使用说明 相关文档 快速重启 所有集群都支持。 当选择“节点类型”快速重启时,所选类型的所有节点会一起重启。
Elasticsearch的索引组成 查询性能优化 基于Elasticsearch的数据查询流程分析,有以下几种性能优化方案。 表1 查询性能优化 优化方案 方案说明 通过routing减少检索扫描的分片数 在数据入库时指定routing值,将数据路由到某个特定的分片,查询时通过该
体验。该方案可以用于以下场景: 电子商务:根据销量、用户评价、价格等因素对商品进行排序。 内容管理:根据阅读量、发布时间对文章或博客帖子进行排序。 金融服务:根据交易金额、频率或风险评分对交易记录进行排序。 客户支持:根据工单的紧急程度或打开时间对客户请求进行排序。 方案架构 通
单击创建pattern无反应,无法创建pattern。 问题原因 检查磁盘是否太满,导致Kibana索引为只读状态。 检查是否有多个Kibana索引。 解决方案 执行以下命令删除不必要的索引数据,释放磁盘空间。 PUT .kibana/_settings { "index": { "blocks":
单节点集群打开Cerebro界面显示告警 原因分析 单节点集群索引默认有副本,但是副本无法下发请求,所以显示告警。 解决方案 在Kibana的“Dev Tools”页面,执行以下命令将索引副本数量修改为“0”。 PUT _all/_settings { "index" : {
API可用于在迁移过程中重新配置索引结构。 方案架构 图1 迁移流程 通过Reindex API实现Elasticsearch集群间数据迁移的迁移流程如图1所示。 在目标集群配置Reindex白名单,连接源集群和目标集群。 通过Reindex API,将源集群的索引数据迁移至目标集群。 方案优势 操作简单:Reindex
原因分析 之前创建的索引模式无法删除索引模式是因为kibana索引只读导致的,磁盘使用率超过一定阈值会自动转为只读,所以报错没有权限。 解决方案 在Kibana的“Dev Tools”页面,执行以下命令解除Kibana索引只读状态。 PUT .kibana*/_settings {
问题原因 由于节点shard数量超过最大值限制,ES默认每个节点的shard数量是1000,如果shard数量超过这个值创建索引会报错。 解决方案 关闭或者删除不用的索引,减少shard数量。 修改节点的shard数量的限制。 PUT _cluster/settings { "persistent":
Elasticsearch,以便在数据丢失或损坏时快速恢复。 方案架构 图1 RDS MySQL数据同步至Elasticsearch 使用Logstash将RDS MySQL数据同步至Elasticsearch的方案流程如图1所示。 在CSS服务的Logstash中通过默认插件l