检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Elasticsearch、自建Logstash和Kibana构建日志管理平台 使用CSS服务的Elasticsearch集群搭建的统一日志管理平台可以实时地、统一地、方便地管理日志,让日志驱动运维、运营等,提升服务管理效率。 应用场景 本文以Elasticsearch、Fi
存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过给Elasticsearch 7.10.2版本的集群配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到OBS中;当索引创建6天后,关闭索引;当索引创建7天后,对存储在OBS
包,用于记录实时的时间序列数据,特别是指标,并通过灵活的查询语言提供数据查询功能。 约束与限制 仅Elasticsearch 7.10.2版本(镜像版本号大于或等于7.10.2_24.3.3_*)的集群支持设置告警同步到Prometheus。 前提条件 已准备好Prometheu
通过OpenSearch Dashboards登录OpenSearch集群 CSS服务的OpenSearch集群默认提供OpenSearch Dashboards,无需安装部署,即可一键访问,同时CSS服务的OpenSearch集群也兼容了开源OpenSearch Dashboards的可视化展现和统计分析能力。
以index.routing.allocation.include._tier_preference特性为例,当前集群是7.9.3版本,这个索引特性是在7.10版本之后才支持的,低版本集群使用该特性将无法分配索引的分片,导致集群不可用。 确定集群是否必须使用该不匹配的特性。 是,创建与
据转储到OBS中;当索引创建7天后,删除该索引。 图1 存算分离 前提条件 CSS集群处于可用状态。 使用OpenSearch 1.3.6版本的集群。 通过索引生命周期管理实现存算分离 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表页面。 在集群列表页
选择共享VPC下的子网。 在华东二区域,当选择的虚拟私有云支持IPv6,则在下拉框中选择是否分配IPv6地址。只有7.6.2和7.10.2版本的Elasticsearch集群支持分配IPv6地址。 安全组 安全组起着虚拟防火墙的作用,为集群提供安全的网络访问控制策略。 选择集群需
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的管理员创建IAM用户接口说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987 。 请求URI 请求URI由如下部分组成。
问协议LDAP认证,以实现相应角色的LDAP用户接入Elasticsearch集群。 约束限制 仅Elasticsearch 7.10.2版本的安全集群支持通过LDAP接入集群。 准备工作 已经在CSS服务上准备好一个Elasticsearch安全模式的集群,且集群处于可用状态。
变更OpenSearch集群节点规格 当OpenSearch集群的数据面业务变化,需要动态调整集群的节点规格和磁盘类型时,可以参考本文变更规格。 场景描述 表1 变更规格场景 场景 描述 约束限制 升级节点规格 基于某一节点类型变更集群的“节点规格”。变更规格过程中,会依次对节点
变更Elasticsearch集群节点规格 当Elasticsearch或OpenSearch集群的数据面业务变化,需要动态调整集群的节点规格和磁盘类型时,可以参考本文变更规格。 场景描述 表1 变更规格场景 场景 描述 约束限制 升级节点规格 基于某一节点类型变更集群的“节点规
已准备好用于同步数据的Logstash集群,具体操作请参见创建Logstash集群。本文以7.10.0版本的Logstash集群为例。 已准备好Elasticsearch集群,具体操作请参见创建Elasticsearch集群。本文以7.10.2版本的Elasticsearch集群为例。 以上三者在同一VPC下面。
创建OpenSearch集群 本文介绍如何创建OpenSearch集群。 场景描述 当创建的集群类型不同时,需要关注如表1所示的关键参数的配置。 表1 集群创建差异 集群类型 “安全模式” “HTTPS访问” “公网访问” “Kibana公网访问” 非安全模式的集群 关闭 不涉及
h 7.6.2和Elasticsearch 7.10.2集群仅支持流量控制2.0版本,之前创建Elasticsearch 7.6.2和Elasticsearch 7.10.2集群仅支持流量控制1.0版本。 开启流量控制功能会消耗部分节点性能。 开启流量控制会直接拒绝超过阈值的用户请求。
h 7.6.2和Elasticsearch 7.10.2集群仅支持流量控制2.0版本,之前创建Elasticsearch 7.6.2和Elasticsearch 7.10.2集群仅支持流量控制1.0版本。 开启流量控制功能会消耗部分节点性能。 开启流量控制会直接拒绝超过阈值的用户请求。
zip包获取“elasticsearch-hadoop-x.x.x.jar”文件。版本需要与CSS集群版本一致,例如CSS集群是7.6.2版本,则建议下载elasticsearch-hadoop-7.6.2.zip。 下载httpclient依赖包commons-httpclie
安装Logstash之前,需要先安装JDK。在Linux操作系统中,您可以执行yum -y install java-1.8.0命令直接安装1.8.0版本JDK。在Windows操作系统中,您可以访问JDK官网,下载符合操作系统版本的JDK,并根据指导安装。 安装完Logstash后,再根据
安装Logstash之前,需要先安装JDK。在Linux操作系统中,您可以执行yum -y install java-1.8.0命令直接安装1.8.0版本JDK。在Windows操作系统中,您可以访问JDK官网,下载符合操作系统版本的JDK,并根据指导安装。 安装完Logstash后,再根据
布式、多副本、容灾、错误恢复、快照、权限控制等,兼容所有原生Elasticsearch生态。目前,仅在云搜索服务的7.6.2和7.10.2版本集成了向量检索插件。 向量检索场景介绍 使用指导 发布区域:华北-北京四、华北-乌兰察布一、华东-上海一、华南-广州、华南-广州-友好用户
10.2,则使用的Elasticsearch Rest High Level Client客户端版本建议也是7.10.2。 本章节以2.5.5版本Spring Boot为例介绍Spring Boot接入集群的方式,对应的spring data elasticsearch版本是4.2.x。