检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CES中Elasticsearch集群支持的监控指标 云监控服务CES支持实时监控云搜索服务集群的核心指标,方便用户掌握集群的指标信息,以便及时处理集群的异常状况。 功能说明 云监控服务CES支持实时监控云搜索服务集群的核心指标,方便用户掌握集群的指标信息,以便及时处理集群的异常状况。本文定义了云搜
Kibana Kibana是一个开源的数据分析与可视化平台,与Elasticsearch搜索引擎一起使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据,也可以实现以图表、地图等方式展示数据。Kibana的官方文档请参见:https://www.elastic
Client)手册中提到,在与会话通道交互过程中有些I/O异常是可以预料的,这些异常可能会导致单个session终止,但不会影响I/O Reactor和其他session。但某些情况下,当I/O Reactor本身遇到内部问题时,例如底层NIO的一些类中的I/O异常或者没被handle的一些Runtime
“集群状态”为“不可用”,集群的“任务状态”为“冻结”。 图1 集群冻结状态 原因分析 集群出现冻结状态的原因是账户欠费或包年包月集群的订购周期已到期。 处理步骤 按需计费集群 在华为云控制台上方单击“费用与成本”进入费用中心。 在“总览”页面查看账户的欠费情况。 如果是IAM用户
下线后,其余节点的磁盘容量能够接纳该节点的所有数据。 下线单节点后,剩余节点能够包含集群的所有数据。 数据副本 系统检查 检测集群中索引的最大主备分片数是否能够分配到剩余数据节点和冷数据节点中,防止升级过程中出现节点下线后副本无法分配的情况。 索引的主备分片数的最大值+1 ≤ 升级前的数据节点数和冷数据节点之和
当新增索引或分片分配的处理时间过长,或管理集群各个节点的协调、调度不足时,可以升级Master节点的“节点规格”保证集群的正常使用。 当数据节点任务分发量、结果汇聚量过大时,可以升级Client节点的“节点规格”。 当数据的写入与查询突然变得缓慢时,可以升级数据节点的“节点规格”提高数据节点的查询与写入效率。
背景信息 云搜索服务的词库用于对文本进行分词,使得一些特殊词语在分词的时候能够被识别出来,便于根据关键词搜索文本数据。例如,根据公司名称来查询,如“华为”;或者根据网络流行词来查询,如“喜大普奔”。也支持基于同义词词库,根据同义词搜索文本数据。 CSS服务使用的分词器包括IK分词器
向量检索的客户端代码示例(Java) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以OpenSearch
向量检索的客户端代码示例(Python) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装pytho
日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。 查询日志 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要查询日志的集群名称,进入集群基本信息页面。
配置和使用OpenSearch集群的自定义词库 前提条件 已经准备好集群和自定义词库,且词库文件已上传至OBS桶。 集群和词库文件满足约束限制。 上传的OBS桶必须和集群在相同“区域”。上传文件至OBS桶的操作步骤请参见上传文件。 配置自定义词库 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表页面。
接纳该节点的所有数据。 集群中索引的最大主备分片数能够被分配到剩余数据节点和冷数据节点中,防止切换过程中出现节点下线后副本无法分配的情况。即“索引的主备分片数的最大值+1 ≤ 切换前的数据节点数和冷数据节点之和”。 当集群处于切换可用区过程中,部分节点的AZ属性可能已经更改,此时
检测集群索引是否开启副本,未设置副本的索引在节点发生故障后可能导致索引不可用,本地盘集群未设置副本会有数据丢失的风险。 检测集群是否存在kibana索引冲突。 检测节点磁盘用量百分比,节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。 检测集群数据节点/冷数据节点的存储用量是否均衡,不均衡的存储用
全性。通过HTTP协议访问集群又能保留集群的高性能。 缺点:无法公网访问集群。 安全模式+HTTPS协议的集群 安全模式的集群需要通过安全认证才能访问,且支持对集群进行授权、加密等功能。采用HTTPS协议进行通信加密,使数据更安全。 有非常高的安全要求,且需要公网访问集群的场景。
背景信息 云搜索服务的词库用于对文本进行分词,使得一些特殊词语在分词的时候能够被识别出来,便于根据关键词搜索文本数据。例如,根据公司名称来查询,如“华为”;或者根据网络流行词来查询,如“喜大普奔”。也支持基于同义词词库,根据同义词搜索文本数据。 CSS服务使用的分词器包括IK分词器
OpenSearch集群访问方式 通过OpenSearch Dashboards登录OpenSearch集群 通过Cerebro登录OpenSearch集群 通过Curl命令行接入OpenSearch集群 通过LDAP接入OpenSearch集群 父主题: 使用OpenSearch搜索数据
数值。“节点存储”的存储类型和存储容量可以根据实际情况选择。 开启冷数据节点之后,支持切换集群的冷热数据,详情请参见切换OpenSearch集群冷热数据。 说明: 当集群中冷数据节点的数量和可用区的数量不是整数倍关系时,集群的数据分布可能会不均匀,从而影响数据查询或写入业务。 企业项目
集群列表默认按时间顺序排列,时间最近的集群显示在最前端。 在集群列表页单击“导出”可以下载全量的集群列表信息。 表1 集群列表说明 参数 描述 名称/ID 展示集群的名称和ID。单击集群名称可进入集群“基本信息”页面,展现了集群的基本信息。集群ID是系统自动生成的,是集群在服务中的唯一标识。 集群状态
ES-Hadoop导数据时报"Could not write all entries"异常 问题分析 Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列,超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个合适的阈值),
配置Elasticsearch集群索引回收站 Elasticsearch集群在执行删除索引的操作时,会直接将索引删除,没有回收站的能力。为了防止客户误操作导致数据被删除,CSS提供了索引回收站功能,支持将删除的索引存放到回收站中,且支持从回收站中还原索引,进而提升集群的数据可靠性。 约束限制 仅Elasticsearch