检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如图1所示,以Elasticsearch集群为例,介绍客户端往Elasticsearch或OpenSearch集群发送查询请求的流程。图中的P表示主分片Primary,R表示副本分片Replica,主副分片在数据节点Node里是随机分配的,但是不能在同一个节点里。 客户端向Node1发送查询请求,此时Node1为协调节点。
sticsearch集群时,CSS预置的默认CA证书可以用于信任该服务端。Logstash集群支持查看默认证书。 当Logstash集群连接其他数据源,且需要进行安全认证时,则需要用户上传自定义证书信任服务端,具体操作请参见上传自定义证书。 查看默认证书 登录云搜索服务管理控制台。
如果客户端节点是ingest节点,那么集群中是否存在Coordinating only node,所有节点都是Coordinating node分摊来客户端请求吗? 如果没有ingest业务时,那么客户端节点是不是就处于空闲状态? 解决方案 集群节点的“node.roles”为“i”时,表示集群
last_one_day 表示最近一天的统计数值。 latest 表示从上次重置到当前时间的统计数值。 P99时延的计算是近似值,不提供精确值,越靠近两端的统计值越准确,即99%的时延比50%的时延更准确。 当重启集群时,P99时延的数据将被清空,会从集群重启成功后重新计算。 监控集群P99时延的命令还可以设置其他配置项。
'http://<节点内网访问地址>:9200' 原因分析 在“使用VPN专线访问CSS集群”或“通过VPC的对等连接访问CSS集群”场景下,其所在的客户端与CSS不在同一VPC下。因此,要求CSS集群的子网与其VPC具有不同的网段。 例如,某一CSS集群,选用的VPC为vpc-8e28,其网络配置为192
的一种日志系统。 Elasticsearch是一个开源分布式的搜索和分析引擎,用于存储、搜索和分析大量数据。 Logstash是一个服务器端的数据管道,负责收集、解析和丰富数据后,将其发送到Elasticsearch。 Kibana为Elasticsearch提供一个开源的数据分
配置Elasticsearch集群聚合增强 场景描述 聚合增强在数据聚簇的情况下,利用向量化技术,批量处理数据,从而提升聚合性能,优化可观测性业务的聚合分析能力。 在大规模数据的集聚合分析场景下,耗时主要集中在对数据的分组聚合。 提升分组聚合能力依赖排序键和聚簇键。 排序键:数据按照排序键顺序存储。
扩容Elasticsearch集群 当Elasticsearch或OpenSearch集群的数据面业务变化,需要动态调整集群节点的数量、容量、规格和类型时,可以参考本文扩容集群。 场景描述 CSS服务支持多种扩容场景,如表1所示。 表1 扩容场景 场景 描述 相关文档 增加节点数量和容量
扩容OpenSearch集群 当Elasticsearch或OpenSearch集群的数据面业务变化,需要动态调整集群节点的数量、容量、规格和类型时,可以参考本文扩容集群。 场景描述 CSS服务支持多种扩容场景,如表1所示。 表1 扩容场景 场景 描述 相关文档 增加节点数量和容量
ECS无法连接到集群 遇到该问题,请按照如下操作步骤排查解决。 先确认ECS实例和集群是否在同一个VPC。 如果在,执行步骤2。 如果不在,需要重新创建ECS实例,使之和集群在同一个VPC下。 查看集群的安全组的出方向和入方向是否已允许9200端口(TCP协议),或者允许的端口范围已包含9200端口(TCP协议)。
日志管理接口 开启日志功能 关闭日志功能 查询作业列表 查询日志基础配置 修改日志基础配置 开启日志自动备份策略 关闭日志自动备份策略 备份日志 查询日志 连通性测试 父主题: API
替换Elasticsearch集群指定节点 当集群中的节点发生故障时,可以执行“替换指定节点”任务。通过删除故障节点,重建一个一样的新节点,实现节点替换。替换指定节点过程中会将替换节点的数据提前转移,不会造成数据丢失。 前提条件 集群处于“可用”状态,且无正在进行的任务。 约束限制
替换OpenSearch集群指定节点 当集群中的节点发生故障时,可以执行“替换指定节点”任务。通过删除故障节点,重建一个一样的新节点,实现节点替换。替换指定节点过程中会将替换节点的数据提前转移,不会造成数据丢失。 前提条件 集群处于“可用”状态,且无正在进行的任务。 约束限制 一次只能选择一个节点进行替换。
Logstash接口 创建配置文件 更新配置文件 启动pipeline迁移数据 停止pipeline迁移数据 添加到自定义模板 连通性测试 查询模板列表 查询配置文件列表 查询pipeline列表 查询操作记录 查询配置文件内容 删除配置文件 删除自定义模板 热启动pipeline迁移数据
参数 配置说明 前端协议 客户端与负载均衡监听器建立流量分发连接的协议。支持选择“HTTP”或“HTTPS”。 根据实际业务需要选择协议。 前端端口 客户端与负载均衡监听器建立流量分发连接的端口。 根据实际业务需要自定义。 SSL解析方式 客户端到服务器端认证方式。仅“前端协议”选择“HTTPS”才需要配置。
参数 配置说明 前端协议 客户端与负载均衡监听器建立流量分发连接的协议。支持选择“HTTP”或“HTTPS”。 根据实际业务需要选择协议。 前端端口 客户端与负载均衡监听器建立流量分发连接的端口。 根据实际业务需要自定义。 SSL解析方式 客户端到服务器端认证方式。仅“前端协议”选择“HTTPS”才需要配置。
Unauthorized 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 402 Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝
OpenSearch集群规划建议 规划集群可用区 为防止数据丢失,并确保在服务中断情况下能降低集群的停机时间,从而增强集群的高可用性,CSS服务支持跨可用区(即多可用区)部署。用户可以在同一个区域内选择两个或三个不同的可用区进行集群部署。 在创建集群时,如果用户选择了两个或三个可
1为版本号,建议用户根据实际需要选择。 安装MRS客户端,如果已经安装可以跳过该步骤,未安装的请参见安装客户端(3.x及之后版本)。 登录MRS客户端,将下载的ES-Hadoop和httpclient的jar依赖包上传到MRS客户端。 在MRS客户端创建HDFS目录,将ES-Hadoop l
在OpenSearch集群创建向量索引 在OpenSearch集群使用向量索引搜索数据 优化向量检索写入与查询性能 管理向量索引缓存 向量检索的客户端代码示例(Python) 向量检索的客户端代码示例(Java) 父主题: 增强OpenSearch集群搜索能力