检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ES-Hadoop导数据时报"Could not write all entries"异常 问题分析 Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列,超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个合适的阈值
使用Elasticsearch加速关系型数据库的查询分析 介绍如何将MySQL数据库中的数据同步到云搜索服务的Elasticsearch集群,通过Elasticsearch实现数据库的全文检索、Ad Hoc查询和统计分析能力。 应用场景 使用Elasticsearch加速关系型数据库
配置OpenSearch集群YML文件默认参数 云搜索服务支持用户修改elasticsearch.yml文件。 配置YML文件 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要修改参数配置的集群名称,进入集群基本信息页面。 选择“参数配置”,单击“编辑”,根据需求修改对应模块的参数值
如何查看CSS集群所分布的可用区? 在集群的“基本信息”页面,可以获取集群所分布的可用区信息。 登录云搜索服务管理控制台。 选择“集群管理 > Elasticsearch”,进入集群列表页面。 单击集群名称进入集群“基本信息”页面,集群配置信息中的“可用区”即集群所分布的可用区。
重启Elasticsearch集群 集群停止工作时,您可通过重启集群恢复运行。 场景描述 重启集群支持快速重启和滚动重启,两种方案的使用说明请参见表1。建议在业务空闲时执行重启操作。 表1 重启方案 方案 使用说明 相关文档 快速重启 所有集群都支持。 当选择“节点类型”快速重启时
停止Logstash迁移任务 场景描述 在Logstash集群停止Logstash迁移任务有两种方式。 全部停止:在管道列表中,同时停止所有任务。停止成功后,管道“运行状态”变成“已停止”。 热停止:在管道列表中,一次只能停止一个管道任务。停止成功后,该管道任务会直接从管道列表中移除
查询和管理OpenSearch集群日志 为了方便用户使用日志定位问题,云搜索服务提供了日志备份、日志采集和日志查询功能。 日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过
设置Elasticsearch集群标签 标签是集群的标识。为集群添加标签,可以方便用户识别和管理拥有的集群资源。 您可以在创建集群时添加标签,也可以在集群创建完成后,在集群的详情页添加标签。 约束限制 云搜索服务的每个集群最多可以设置20个标签。 如您的组织已经设定云搜索服务的相关标签策略
缩容Elasticsearch集群 当集群有充足的能力处理当前数据时,为节省资源可以参考本文缩容集群的节点数量。 场景描述 CSS服务支持多种缩容场景,如表1所示。 表1 缩容场景 场景 描述 相关文档 缩容随机节点 缩容随机节点是基于节点类型随机下线节点减少集群的“节点数量”,减少集群占用的资源
访问Elasticsearch集群时9200和9300端口是否都开放? 都开放。9200端口为外部访问Elasticsearch集群端口,9300为节点之间通讯端口。 访问9300端口有以下几种方式: 如果是同VPC同子网内可直接访问。 如果是同VPC下跨子网访问,需要单独申请路由配置
CSS集群冻结索引后如何查询OBS上的索引占用量? CSS集群冻结到OBS上的索引大小和未冻结时的索引大小是一样的,通过查询已冻结的索引信息就可以获取OBS上所有索引的大小信息,而所有索引的大小之和就是OBS上索引的占用量。 执行如下命令获取正在冻结过程中或者已经冻结完成的所有索引
设置Logstash集群标签 标签是集群的标识。为集群添加标签,可以方便用户识别和管理拥有的集群资源。 您可以在创建集群时添加标签,也可以在集群创建完成后,在集群的详情页添加标签。 约束限制 云搜索服务的每个集群最多可以设置20个标签。 如您的组织已经设定云搜索服务的相关标签策略,
缩容Logstash集群 当集群有充足的能力处理当前数据时,为节省资源可以缩容Logstash集群。 缩容Logstash集群是通过随机下线节点减少集群的“节点数量”,减少集群占用的资源。 前提条件 集群处于“可用”状态,且无正在进行的任务。 约束限制 缩容是通过下线节点减少节点数量
查看Logstash集群信息 在Logstash集群的列表页和基本信息页,可以获取集群的状态、版本、节点等信息。 集群列表介绍 集群列表会展示当前账号下同一集群类型的所有集群。当集群数量较多时,会翻页显示,支持查看任何状态下的集群。 集群列表默认按时间顺序排列,时间最近的集群显示在最前端
智能检测OpenSearch集群风险 CSS服务提供智能运维功能,支持检测集群潜在风险,并给出风险处理的建议。 场景描述 集群的智能运维支持以下功能: 启动检测任务:通过启动检测任务,触发系统智能诊断集群的健康状况。 查看集群风险项:检测任务完成后,可以查看集群存在的风险项详情,根据风险建议及时处理集群存在的风险
配置OpenSearch集群存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明显的冷热区分
Elasticsearch集群最大堆内存持续过高(超过90%) 问题描述 关于Elasticsearch集群的最大堆内存持续超过90%的问题。其中如果节点在90%堆内存上下波动,有增有减,则无异常;持续高内存时,集群存在一定的风险。 原因分析 排查集群的写入和查询队列,查看是否有大量任务堆积
Elasticsearch集群创建index pattern卡住,如何解决? 问题现象 在Kibana的“Dev Tools”页面,执行GET .kibana/_settings命令查询kibana索引的状态,如果状态为“true”,说明集群磁盘过高。 问题原因 索引置为只读状态导致
配置Elasticsearch集群内核监控 场景描述 表1 集群内核监控介绍 集群内核监控增强 描述 支持的集群版本 相关文档 P99时延监控 开源Elasticsearch在监控search请求时仅提供了平均延迟指标,这不足以准确反映集群的实际搜索性能。为了改进这一点,CSS服务新增了
使用DSL语言在OpenSearch中搜索数据 DSL语言是Elasticsearch和OpenSearch查询域的特定语言,是客户端与Elasticsearch和OpenSearch集群交互的最佳语言。Elasticsearch DSL是基于JSON格式的语言,其他语言如SQL本质上也是先转译为