检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch集群访问方式 Elasticsearch集群支持多种访问方式,方便根据业务使用的编程语言自行选择接入方式。各种访问方式兼容多种网络配置方式,不同网络配置方式获取到的集群访问地址有差异,您可以根据自己的网络环境选择合适的网络配置方式。 访问方式 表1 集群的访问方式
管理Logstash集群的CA证书 当Logstash集群连接CSS服务的Elasticsearch集群时,可以跳过本文直接使用默认CA证书,当连接其他需要安全认证的数据源时,则需要参考文本配置自定义证书。 场景描述 当Logstash集群连接安全模式+HTTPS协议的Elasticsearch
使用DSL语言在OpenSearch中搜索数据 DSL语言是Elasticsearch和OpenSearch查询域的特定语言,是客户端与Elasticsearch和OpenSearch集群交互的最佳语言。Elasticsearch DSL是基于JSON格式的语言,其他语言如SQL本质上也是先转译为
扩容Elasticsearch集群 当Elasticsearch或OpenSearch集群的数据面业务变化,需要动态调整集群节点的数量、容量、规格和类型时,可以参考本文扩容集群。 介绍视频 场景描述 CSS服务支持多种扩容场景,如表1所示。 表1 扩容场景 场景 描述 相关文档 增加节点数量和容量
创建和管理Elasticsearch索引策略 本文介绍如何创建和管理Elasticsearch集群的生命周期索引策略。 背景信息 Elasticsearch的ISM(Index State Management)是一个索引状态管理插件,支持通过索引使用期限、索引大小或文档数等信息的变化来自动触发周期性的管理操作
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector.index_threads
增强Elasticsearch集群数据导入性能 特性介绍 数据导入性能增强为云搜索服务自主研发的特性,通过优化Bulk路由、文本索引加速、分词加速等方式,有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式
智能检测Elasticsearch集群风险 CSS服务提供智能运维功能,支持检测集群潜在风险,并给出风险处理的建议。 场景描述 集群的智能运维支持以下功能: 启动检测任务:通过启动检测任务,触发系统智能诊断集群的健康状况。 查看集群风险项:检测任务完成后,可以查看集群存在的风险项详情
使用自建Logstash导入数据到OpenSearch 云搜索服务支持使用自建Logstash将其收集的数据迁移到Elasticsearch和OpenSearch中,方便用户通过CSS搜索引擎高效管理和获取数据。数据文件支持JSON、CSV等格式。 Logstash是开源的服务器端数据处理管道
更改Elasticsearch集群安全模式 集群创建完成后,可以参考本文更改集群的安全模式。 场景描述 CSS服务支持创建多种安全模式的集群,不同集群的差异请参见表1。 表1 集群类型介绍 集群类型 集群描述 适用场景 非安全集群 非安全模式的集群 非安全模式的集群无需安全认证即可访问
通过LDAP接入Elasticsearch集群 LDAP(Light Directory Access Portocol)是基于X.500标准的轻量级目录访问协议。基于LDAP协议的LDAP服务可以提供用户身份验证的能力。CSS服务通过使用Opendistro的Security插件
使用开源OpenSearch API导入数据到OpenSearch 云搜索服务支持在Kibana或者ECS服务器上使用开源OpenSearch API将数据导入到OpenSearch集群中,数据文件支持JSON等格式。OpenSearch API请参见REST API reference
Logstash配置文件模板介绍 系统模板介绍 Logstash集群预置了常见的几种Logstash配置文件模板,请参见表1。 表1 Logstash配置文件的系统模板 名称 描述 具体介绍 redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明
管理向量索引缓存 CSS的向量检索引擎使用C++实现,使用的是堆外内存,该插件提供了接口对向量索引的缓存进行管理。 查看缓存统计信息 GET /_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询时
CES中OpenSearch集群支持的监控指标 云监控服务CES支持实时监控云搜索服务集群的核心指标,方便用户掌握集群的指标信息,以便及时处理集群的异常状况。 功能说明 云监控服务CES支持实时监控云搜索服务集群的核心指标,方便用户掌握集群的指标信息,以便及时处理集群的异常状况。本文定义了云搜索服务上报云监控服务的集群和节点监控指标的命名空间
通过MRS Hive客户端接入Elasticsearch集群 Elasticsearch-Hadoop (ES-Hadoop) 连接器将Hadoop海量的数据存储和深度加工能力与Elasticsearch实时搜索和分析功能结合在一起。它能够让您快速深入了解大数据,并让您在Hadoop
查询和管理Elasticsearch集群日志 为了方便用户使用日志定位问题,云搜索服务提供了日志备份、日志采集和日志查询功能。 日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过
变更Elasticsearch集群节点规格 当Elasticsearch或OpenSearch集群的数据面业务变化,需要动态调整集群的节点规格和磁盘类型时,可以参考本文变更规格。 场景描述 表1 变更规格场景 场景 描述 约束限制 升级节点规格 基于某一节点类型变更集群的“节点规格
配置Elasticsearch集群公网访问 当集群开启了“安全模式”和“HTTPS访问”时,可以选择是否配置“公网访问”。配置公网访问后,用户可以获得一个公网访问的IP地址,通过这个IP地址可以在公网访问该安全集群。同时,还支持配置访问控制,设置允许公网访问集群的IP地址或网段。
使用CES监控Logstash集群 云搜索服务支持通过云监控服务CES对已创建成功的集群进行日常监控。配置集群监控后,就可以在CES管理控制台直观查看集群的监控指标数据。 配置集群监控的操作流程: 配置告警规则:根据实际业务需要对监控指标设置自定义告警规则,当监控指标超过设置的阈值时