检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
高效的数据处理能力:Logstash支持批量读写操作,可以大幅度提高数据迁移的效率。 并发同步技术:利用slice并发同步技术,可以提高数据迁移的速度和性能,尤其是在处理大规模数据时。 配置简单:华为云Logstash的配置相对简单直观,通过配置文件即可实现数据的输入、处理和输出。
创建集群 功能介绍 该接口用于创建集群。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法请参见获取项目ID和名称。
API作为Elasticsearch的内置功能,提供了一个简单直接的方法来迁移数据,无需复杂的配置或额外的工具。 数据处理灵活:在迁移过程中,可以对数据进行处理,例如调整Mapping、分词、Shard等。 性能控制:在迁移过程中,可以通过配置Scroll API的参数来控制迁移速率,优化迁移性能。
查询指定集群的标签 功能介绍 该接口用于查询指定集群的标签信息。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/{resource_type}/{cluster_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询证书文件信息 功能介绍 该接口用于查询证书文件信息。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/clusters/{cluster_id}/certs/{cert_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
CSS服务的Logstash集群默认安装了logstash-input-jdbc插件,该插件为Logstash提供了从关系型数据库RDS MySQL中导入和处理数据的能力,通过配置Logstash配置文件,定义JDBC输入和Elasticsearch输出,实现定期同步数据库中的数据到Elasticsearch。该方案可以用于以下场景:
co/guide/en/logstash/current/input-plugins.html。 filter:指定对数据进行处理的方式。例如,对日志进行了提取和处理,将非结构化信息转换为结构化信息。filter参数的详细解释和使用介绍请参见https://www.elastic.co
co/guide/en/logstash/current/input-plugins.html。 filter:指定对数据进行处理的方式。例如,对日志进行了提取和处理,将非结构化信息转换为结构化信息。filter参数的详细解释和使用介绍请参见https://www.elastic.co
修改Kibana公网带宽 功能介绍 该接口用于修改Kibana公网带宽。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/publickibana/bandwidth 表1 路径参数 参数 是否必选
查询日志基础配置 功能介绍 该接口用于查询集群日志的基础配置。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/clusters/{cluster_id}/logs/settings 表1 路径参数 参数 是否必选 参数类型 描述 project_id
创建Elasticsearch集群 本文介绍如何创建Elasticsearch集群。 场景描述 当创建的集群类型不同时,需要关注如表1所示的关键参数的配置。 表1 集群创建差异 集群类型 “安全模式” “HTTPS访问” “公网访问” “Kibana公网访问” 非安全模式的集群 关闭
设置Elasticsearch集群SMN告警通知 本文主要介绍如何在Kibana中通过开源OpenDistro告警插件设置Elasticsearch集群的SMN告警通知功能。 场景描述 CSS服务默认给7.1.1、7.6.2和7.10.2版本的Elasticsearch集群安装了
创建OpenSearch集群 本文介绍如何创建OpenSearch集群。 场景描述 当创建的集群类型不同时,需要关注如表1所示的关键参数的配置。 表1 集群创建差异 集群类型 “安全模式” “HTTPS访问” “公网访问” “Kibana公网访问” 非安全模式的集群 关闭 不涉及
OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python依赖包。如果未安装可以执行如下命令安装: pip install opensearch-py==1
开源Elasticsearch提供了一系列RESTful风格的API,通过Curl命令可以在Kibana、Postman等工具中使用这些API。本文介绍如何通过Curl命令接入Elasticsearch和OpenSearch集群。 前提条件 CSS服务的Elasticsearch和OpenSearch集群处于可用状态。
开源Elasticsearch提供了一系列RESTful风格的API,通过Curl命令可以在Kibana、Postman等工具中使用这些API。本文介绍如何通过Curl命令接入Elasticsearch和OpenSearch集群。 前提条件 CSS服务的Elasticsearch和OpenSearch集群处于可用状态。
容错能力。 当现有Logstash节点处理能力达到极限,无法满足日益增长的数据量时,扩容可以提供更多的处理能力,保证数据流的顺畅处理。 当Logstash集群需要执行更复杂的数据处理逻辑,如数据丰富、转换等,扩容可以提供更多的计算资源来处理这些任务 。 扩容节点数量 升级节点规格
一个管理员账号。该管理员能够使用Kibana为集群添加新用户,并授予相应的安全集群使用权限。本文将以7.6.2版本的Kibana为例,指导如何使用Kibana为安全集群配置用户授权。 背景信息 云搜索服务用opendistro_security安全插件对外提供安全集群能力,ope
Logstash可以独立收集数据,或从Beats接收数据,对数据进行过滤、转换和增强。 数据处理 Logstash在将数据发送到Elasticsearch之前,对数据进行必要的处理,如解析结构化日志、过滤无用信息等。 数据存储 Elasticsearch作为核心存储组件,El
关闭Kibana公网访问 功能介绍 该接口用于关闭Kibana公网访问。包周期类型集群不支持通过api进行关闭Kibana公网访问。 调用方法 请参见如何调用API。 URI PUT /v1.0/{project_id}/clusters/{cluster_id}/publickibana/close