检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
置、日志备份与查看,帮助用户有效监控和分析Logstash集群,确保集群的稳定性。 CES中Logstash集群支持的监控指标 使用CES监控Logstash集群 查询和管理Logstash集群日志 审计日志 通过云审计服务,用户可以记录和查询Logstash集群的关键操作事件,
Logstash部署在弹性云服务器上时导入数据示意图 确保已部署Logstash的弹性云服务器与待导入数据的集群在同一虚拟私有云下,已开放安全组的9200端口的外网访问权限,且弹性云服务器已绑定弹性IP。 如果同一个VPC内有多台服务器,只要其中一台绑定了弹性IP,其他的服务器可以不需要绑
project_id 是 String 参数解释: 指定待查询的集群ID,获取方法请参见获取集群ID。 约束限制: 不涉及 取值范围: 获取方法请参见获取集群ID。 默认取值: 不涉及 cluster_id 是 String 参数解释: 指定待查询的集群ID,获取方法请参见获取集群ID。 约束限制:
Logstash部署在弹性云服务器上时导入数据示意图 确保已部署Logstash的弹性云服务器与待导入数据的集群在同一虚拟私有云下,已开放安全组的9200端口的外网访问权限,且弹性云服务器已绑定弹性IP。 如果同一个VPC内有多台服务器,只要其中一台绑定了弹性IP,其他的服务器可以不需要绑
e3。 各分片分别执行查询任务;当各分片查询成功后,将查询结果汇聚到Node1,然后协调节点向客户端返回查询结果。 对于某个查询请求,其在节点上默认可并行查询5个分片,多于5个分片时将分批进行查询;在单个分片内,通过逐个遍历各个Segment的方式进行查询。 图2 Elasticsearch的索引组成
云搜索服务可用于加速数据库查询。在电商、物流企业等有订单查询的业务场景,存在数据量大、查询并发高、吞吐大、查询延迟低的要求,关系型数据库具备较好的事务性与原子性,但其TP与AP处理能力较弱,通过将CSS作为备数据库,可提升整个系统的TP与AP处理能力。 高性能:支持文本、时间、数字、空间等数据类型;亿级数据查询毫秒级响应。
完成后, 会在一定的时间内保持连接,即通常所说的Keepalive(存活定时器)功能。 TCP保活机制 保活机制是由一个保活计时器实现的。当计时器被激发,连接一端将发送一个保活探测报文, 另一端接收报文的同时会发送一个ACK作为响应。 如果客户端无响应,服务器将中断连接,否则会重置保活计时器。
准。 查询日志 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要查询日志的集群名称,进入集群基本信息页面。 左侧导航栏,选择“日志管理”。 在日志管理页面进行日志查询。 选择需要查询的节点、日志类型和日志级别信息后,单击,显示查询结果。 查询日志时,是从最近时刻的1万条日
查询日志 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要查询日志的集群名称,进入集群基本信息页面。 左侧导航栏,选择“日志管理”。 在日志管理页面进行日志查询。 选择需要查询的节点,单击,显示查询结果。 查询日志时,是从最近时刻的1万条日志中进行匹配,查询结果最多显示100条。
辑方式进行网络隔离,为用户的集群提供安全、隔离的网络环境。详细请参考虚拟私有云用户指南。 弹性云服务器(Elastic Cloud Server,简称ECS) 云搜索服务CSS的集群中每个节点为一台弹性云服务器(ECS)。创建集群时将自动创建弹性云服务器作为节点。 云硬盘(Elastic
在OpenSearch集群中配置轻量目录访问协议LDAP认证,实现相应角色的LDAP用户接入OpenSearch集群。 通过LDAP接入OpenSearch集群 网络配置 配置Elasticsearch集群的网络,确保服务器与集群的网络是互通的。同时,根据选择的网络获取集群的访问地址,除了Kibana和Cerebr
问协议LDAP认证,实现相应角色的LDAP用户接入Elasticsearch集群。 通过LDAP接入Elasticsearch集群 网络配置 配置Elasticsearch集群的网络,确保服务器与集群的网络是互通的。同时,根据选择的网络获取集群的访问地址,除了Kibana和Cer
当Logstash集群和数据源的子网在同一个主网卡时,两者的网络互通,无需配置Logstash集群路由。 当Logstash集群和数据源的子网不在同一个主网卡时,需要配置Logstash集群路由,给Logstash集群的每个节点新增一个指向目标IP地址(即源数据所在的服务器IP地址)的回程路由,以
快速入门。 CSS服务支持云审计的操作列表请参见支持云审计的关键操作。 图1 云审计服务 在您开启了云审计服务后,系统会记录云搜索服务的相关操作,且控制台保存最近7天的操作记录。如何在云审计服务管理控制台查看最近7天的CSS服务操作记录请参见查询审计事件。 日志 除了云审计日志,
clusterId String 参数解释: 指定配置自定义词库的集群ID。 operateStatus String 参数解释: 操作状态。 id String 参数解释: 词库的ID。 请求示例 查询自定义词库的加载状态。 GET https://{Endpoint}/v1.
集群突现load高的故障排查 问题现象 集群任务被长时间拒绝,且大量任务出现卡死的情况,在Cerebro界面可以看到集群的load数值突然飙升。 原因分析 集群出现load升高的可能原因如下: 查询请求命中的数据较多导致查询线程执行缓慢。 写入压力过大导致很多线程出现卡死现象。 排查步骤
如何查看CSS集群的分片数以及副本数? 登录云搜索控制台。 在集群管理页面,选择需要查看的集群操作列的Kibana。 登录Kibana界面,选择Dev Tools。 在Dev Tools的Console界面中执行GET _cat/indices?v命令,查询集群分片数和副本数。如
数据导入导出类 Elasticsearch显示CPU使用率高,导致日志无法写入 ECS服务器部署Logstash推送数据到CSS服务报错 ES-Hadoop导数据时报"Could not write all entries"异常
结论:同一集群在统一索引构建参数的情况下,通过调整ef参数可以获得不同的查询精度,在略微损失召回率的场景下可以获得成倍的性能提升。 GRAPH_PQ类索引 基于图算法的索引为了保证查询性能通常需要常驻内存,因此当向量维度较高或数据量较大时,内存资源成为影响成本及性能的关键因素。具体来说,高维度的向量和大
约束与限制 您能创建的CSS集群数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见服务配额。 更详细的限制请参见具体API说明。 终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 基本概念