检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
缩容Logstash集群 当集群有充足的能力处理当前数据时,为节省资源可以缩容Logstash集群。 缩容Logstash集群是通过随机下线节点减少集群的“节点数量”,减少集群占用的资源。 前提条件 集群处于“可用”状态,且无正在进行的任务。 约束限制 缩容是通过下线节点减少节点数量
查看Logstash集群信息 在Logstash集群的列表页和基本信息页,可以获取集群的状态、版本、节点等信息。 集群列表介绍 集群列表会展示当前账号下同一集群类型的所有集群。当集群数量较多时,会翻页显示,支持查看任何状态下的集群。 集群列表默认按时间顺序排列,时间最近的集群显示在最前端
智能检测OpenSearch集群风险 CSS服务提供智能运维功能,支持检测集群潜在风险,并给出风险处理的建议。 场景描述 集群的智能运维支持以下功能: 启动检测任务:通过启动检测任务,触发系统智能诊断集群的健康状况。 查看集群风险项:检测任务完成后,可以查看集群存在的风险项详情,根据风险建议及时处理集群存在的风险
配置OpenSearch集群存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明显的冷热区分
重启Elasticsearch集群 集群停止工作时,您可通过重启集群恢复运行。 场景描述 重启集群支持快速重启和滚动重启,两种方案的使用说明请参见表1。建议在业务空闲时执行重启操作。 表1 重启方案 方案 使用说明 相关文档 快速重启 所有集群都支持。 当选择“节点类型”快速重启时
停止Logstash迁移任务 场景描述 在Logstash集群停止Logstash迁移任务有两种方式。 全部停止:在管道列表中,同时停止所有任务。停止成功后,管道“运行状态”变成“已停止”。 热停止:在管道列表中,一次只能停止一个管道任务。停止成功后,该管道任务会直接从管道列表中移除
查询和管理OpenSearch集群日志 为了方便用户使用日志定位问题,云搜索服务提供了日志备份、日志采集和日志查询功能。 日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过
ES-Hadoop导数据时报"Could not write all entries"异常 问题分析 Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列,超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个合适的阈值
删除Elasticsearch集群 当用户已完成数据搜索业务,无需继续使用某一集群时,可删除集群释放资源。 约束限制 删除集群时,会清理集群业务数据,请谨慎操作。 如果集群没有备份快照,则删除后不可恢复集群数据。当集群启用过快照功能,且OBS桶中创建的快照并未被删除,此时删除集群时
启动Logstash迁移任务 场景描述 使用Logstash集群启动Logstash迁移任务的操作流程: 测试数据源和目的端与Logstash集群之间的网络连通性,确保数据传输畅通:测试连通性 通过启动配置文件启动Logstash迁移任务。 当管道列表没有“工作中”的任务时,则启动配置文件
设置OpenSearch集群SMN告警通知 场景描述 云搜索服务默认安装了开源的OpenSearch告警插件(opensearch-alerting),用于提供数据满足特定条件时的通知功能。该插件包含Alerts、Monitors、Destinations三个组件,CSS服务在Destinations
通过Reindex API实现Elasticsearch集群间数据迁移 使用Reindex API可以实现Elasticsearch集群间的数据迁移。 应用场景 Elasticsearch作为一款开源搜索引擎,提供了Reindex API以支持集群间的索引数据迁移。CSS服务同样支持利用
使用CDM导入数据到OpenSearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景
创建快照备份OpenSearch集群数据 本文介绍CSS集群快照备份的两种方式:自动创建快照和手动创建快照。 约束限制 备份与恢复索引功能上线之前(即2018年3月10日之前)创建的集群,无法创建快照。 集群快照会导致CPU、磁盘IO上升等影响,建议在业务低峰期进行操作。 当集群处于
Elasticsearch显示CPU使用率高,导致日志无法写入 问题现象 Elasticsearch在某一时间段CPU比较高,logstash在该时刻报错Elasticsearch Unreachable,导致日志无法写入到Elasticsearch里。 原因分析 客户index是单
使用DSL语言在OpenSearch中搜索数据 DSL语言是Elasticsearch和OpenSearch查询域的特定语言,是客户端与Elasticsearch和OpenSearch集群交互的最佳语言。Elasticsearch DSL是基于JSON格式的语言,其他语言如SQL本质上也是先转译为
扩容Elasticsearch集群 当Elasticsearch或OpenSearch集群的数据面业务变化,需要动态调整集群节点的数量、容量、规格和类型时,可以参考本文扩容集群。 介绍视频 场景描述 CSS服务支持多种扩容场景,如表1所示。 表1 扩容场景 场景 描述 相关文档 增加节点数量和容量
设置Elasticsearch集群SMN告警通知 本文主要介绍如何在Kibana中通过开源OpenDistro告警插件设置Elasticsearch集群的SMN告警通知功能。 场景描述 CSS服务默认给7.1.1、7.6.2和7.10.2版本的Elasticsearch集群安装了开源
访问Elasticsearch集群时9200和9300端口是否都开放? 都开放。9200端口为外部访问Elasticsearch集群端口,9300为节点之间通讯端口。 访问9300端口有以下几种方式: 如果是同VPC同子网内可直接访问。 如果是同VPC下跨子网访问,需要单独申请路由配置
CSS集群冻结索引后如何查询OBS上的索引占用量? CSS集群冻结到OBS上的索引大小和未冻结时的索引大小是一样的,通过查询已冻结的索引信息就可以获取OBS上所有索引的大小信息,而所有索引的大小之和就是OBS上索引的占用量。 执行如下命令获取正在冻结过程中或者已经冻结完成的所有索引