检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch集群支持的监控指标 CES中Elasticsearch集群支持的监控指标 Elasticsearch集群内核支持的监控指标 父主题: Elasticsearch集群监控与日志管理
停止Logstash迁移任务 场景描述 在Logstash集群停止Logstash迁移任务有两种方式。 全部停止:在管道列表中,同时停止所有任务。停止成功后,管道“运行状态”变成“已停止”。 热停止:在管道列表中,一次只能停止一个管道任务。停止成功后,该管道任务会直接从管道列表中移除。
Level Client的版本和Elasticsearch的版本保持一致,例如需要访问的ES集群版本是7.6.2,则使用的Rest Low Level Client客户端版本建议也是7.6.2。 准备工作 CSS集群处于可用状态。 确保运行Java代码的服务器与CSS集群的网络是互通的。
hon/Java/Go/C++等多种客户端语言支持。 视频介绍 约束限制 仅Elasticsearch 7.6.2、Elasticsearch 7.10.2、OpenSearch 1.3.6集群支持CSS服务的向量检索引擎。 向量检索插件涉及较高的内存计算,内存要求比普通索引高,建议集群选择“内存优化型”的计算规格。
节点报错日志示例 原因分析 出现以上报错日志表示集群各节点之间无法通信,导致集群无法进行选主,可能原因是集群当前所选安全组未放通9300端口。 云搜索服务在7.6.2及以上的版本,集群内通信端口9300默认开放在用户VPC的子网上。集群所选安全组需要放通子网内的9300通信端口才能保证节点之间通信。
通过索引生命周期管理实现Elasticsearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过给Elasticsearch 7.10.2版本的集群配置
通过Transport Client接入Elasticsearch集群 本文介绍通过Transport Client访问CSS服务非安全集群的配置说明。如果是安全模式的集群,建议通过Rest High Level Client接入Elasticsearch集群。 注意事项 建议Transport
导入向量数据:将向量数据导入集群。 在Elasticsearch集群使用向量索引搜索数据:进行向量查询。 前提条件 已经参考向量检索的集群规格规划完成集群创建,且集群版本是Elasticsearch 7.6.2、Elasticsearch 7.10.2或OpenSearch 1
数值类型字段,可以通过docvalue_fields配置召回需要的字段,有效降低fetch阶段的开销。 POST my_index/_search { "size": 2, "stored_fields": ["_none_"], "docvalue_fields":
通过备份与恢复迁移第三方Elasticsearch集群至华为云 通过备份与恢复可以将第三方Elasticsearch集群数据迁移至华为云Elasticsearch集群。 应用场景 通过备份与恢复实现第三方Elasticsearch集群和华为云Elasticsearch集群之间的数据迁移,依赖存储仓库。常用于以下场景:
使用SQL语言在OpenSearch中搜索数据 在OpenSearch版本中提供Open Distro for Elasticsearch SQL插件允许您使用SQL而不是Elasticsearch查询域特定语言(DSL)编写查询。 熟悉SQL语言的用户,可以使用SQL语言在OpenSearch中搜索数据。
4TB的数据,索引别名“log-alias”,其数据在Elasticsearch中的组织形态如下图所示。查询时,指向所有test开头的索引;写入时,指向最新的索引。 图1 log-alias的组织形态 索引的滚动条件1天是以索引的创建时间来计算的,并不是完整自然日区分的。 前提条件 CSS集群处于可用状态。 使用Elasticsearch
使用SQL语言在Elasticsearch中搜索数据 在Elasticsearch集群 6.5.4及之后版本中提供Open Distro for Elasticsearch SQL插件允许您使用SQL而不是Elasticsearch查询域特定语言(DSL)编写查询。 熟悉SQL语
pip install elasticsearch==7.6 代码示例 from elasticsearch import Elasticsearch from elasticsearch import helpers # 创建Elasticsearch客户端 def get_client(hosts:
RefreshRequest; import org.elasticsearch.action.bulk.BulkRequest; import org.elasticsearch.action.bulk.BulkResponse; import org.elasticsearch.action.index
数值类型字段,可以通过docvalue_fields配置召回需要的字段,有效降低fetch阶段的开销。 POST my_index/_search { "size": 2, "stored_fields": ["_none_"], "docvalue_fields":
从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明 elasticsearch 从Elasticsearch类型集群导入数据到Elasticsearch类型集群。 elasticsearch模板说明 jdbc 从jdbc导入数据到Elasticsearch类型集群。
Elasticsearch集群某一节点分配不到shard 解决方案 使用GET _cluster/allocation/explain?pretty 查看未分配shard。 在console上,选择“cerebro > more > cluster settings ”-,在左上角输入“allocation
4TB的数据,索引别名“log-alias”,其数据在Elasticsearch中的组织形态如下图所示。查询时,指向所有test开头的索引;写入时,指向最新的索引。 图1 log-alias的组织形态 索引的滚动条件1天是以索引的创建时间来计算的,并不是完整自然日区分的。 前提条件 CSS集群处于可用状态。 使用OpenSearch集群。
cluster_id CSS集群 cluster_id,instance_id CSS集群节点 cluster_id,instance_id,pipeline_name CSS集群节点Logstash管道名称 cluster_id,pipeline_name CSS集群Logstash管道名称