检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Beats作为数据收集器,负责从各种源收集数据并发送到Logstash。 Logstash可以独立收集数据,或从Beats接收数据,对数据进行过滤、转换和增强。 数据处理 Logstash在将数据发送到Elasticsearch之前,对数据进行必要的处理,如解析结构化日志、过滤无用信息等。 数据存储 Elasti
询需求。 实时数据同步:通过华为云数据复制服务DRS,可以实现MySQL数据库中的数据实时同步到Elasticsearch,确保数据的一致性和实时性。 简化的数据迁移和索引创建:在Elasticsearch中,可以创建与MySQL数据库表结构相对应的索引,简化了数据迁移和索引管理的复杂性。
使用Logstash迁移集群 在集群迁移初期或需要确保数据完整性的场景,推荐使用Logstash全量迁移集群数据。 在需要持续同步数据或对数据实时性有较高要求的场景,推荐使用Logstash增量迁移集群数据。 释放Logstash集群:当集群迁移完成后,请及时释放Logstash集群。 获取Elasticsearch集群信息
登录云搜索服务管理控制台。 开启集群自动创建快照。支持在创建集群的时候就打开集群自动创建快照,操作指导请参见7,或者在集群创建完成之后再开启集群自动创建快照。 如果在创建集群时已经打开集群自动创建快照,请执行7。 如果是集群创建完成之后开启集群自动创建快照,请执行下一步。 在“集群管理”页面,单击
登录云搜索服务管理控制台。 开启集群自动创建快照。支持在创建集群的时候就打开集群自动创建快照,操作指导请参见7,或者在集群创建完成之后再开启集群自动创建快照。 如果在创建集群时已经打开集群自动创建快照,请执行7。 如果是集群创建完成之后开启集群自动创建快照,请执行下一步。 在“集群管理”页面,单击
以下是使用Elasticsearch集群完成数据搜索的操作步骤。 开始迁移数据前,请务必按准备工作指导完成必要操作。 步骤1:创建集群:创建一个Elasticsearch非安全集群用于搜索数据。 步骤2:导入数据:在Kibana上使用开源Elasticsearch API导入数据。 步骤3:搜索数据:在El
单击“下一步:高级配置”,可以设置Logstash集群的高级功能。 本集群仅做入门指导使用,无需开启集群高级功能。 单击“下一步:确认配置”,确认完成后单击“立即创建”开始创建集群。 单击“返回集群列表”,系统将跳转到“集群管理”页面。您创建的集群将展现在集群列表中,且集群状态为“创建中”,创建成功后集群状态会变为“可用”。
备份与恢复Elasticsearch集群数据 创建快照备份Elasticsearch集群数据 恢复Elasticsearch集群数据 删除Elasticsearch集群快照 父主题: 使用Elasticsearch搜索数据
使用OpenSearch集群搜索数据 使用DSL语言在OpenSearch中搜索数据 使用SQL语言在OpenSearch中搜索数据 父主题: 使用OpenSearch搜索数据
arch集群间的索引数据近实时同步。 通过读写分离插件实现华为云Elasticsearch集群间数据迁移仅适用于源集群和目标集群都是CSS服务的集群。常用于以下场景: 跨地域或跨账号迁移:将其他Region或账号下的Elasticsearch集群迁移到当前集群中。 集群合并:将两
在Kibana控制台,输入如下命令,搜索数据。查看搜索结果,如果数据与导入数据一致,表示数据文件的数据已导入成功。 GET myindex/_search Logstash部署在弹性云服务器上时导入数据 当Logstash部署在同一VPC的弹性云服务时,导入数据的流程说明如图3所示。 图3
登录云数据迁移CDM管理控制台,通过CDM集群将Oracle或OBS的数据导入Elasticsearch或OpenSearch集群。 当源数据是Oracle数据库时,请参考Oracle数据迁移到云搜索服务完成数据导入。 当源数据是OBS桶中的JSON数据时,请参考OBS数据迁移到云搜索服务完成数据导入。
登录云数据迁移CDM管理控制台,通过CDM集群将Oracle或OBS的数据导入Elasticsearch或OpenSearch集群。 当源数据是Oracle数据库时,请参考Oracle数据迁移到云搜索服务完成数据导入。 当源数据是OBS桶中的JSON数据时,请参考OBS数据迁移到云搜索服务完成数据导入。
在Kibana控制台,输入如下命令,搜索数据。查看搜索结果,如果数据与导入数据一致,表示数据文件的数据已导入成功。 GET myindex/_search Logstash部署在弹性云服务器上时导入数据 当Logstash部署在同一VPC的弹性云服务时,导入数据的流程说明如图3所示。 图3
导入数据至OpenSearch集群 OpenSearch集群导入数据方式 使用自建Logstash导入数据到OpenSearch 使用开源OpenSearch API导入数据到OpenSearch 使用CDM导入数据到OpenSearch 增强OpenSearch集群数据导入性能
使用OpenSearch搜索数据 OpenSearch使用流程 OpenSearch集群规划建议 创建OpenSearch集群 访问OpenSearch集群 导入数据至OpenSearch集群 使用OpenSearch集群搜索数据 增强OpenSearch集群搜索能力 配置OpenSearch集群网络
LIMIT 50" } 查询结果返回CSV格式的数据时,每行对应一个文档,每列对应一个字段。 在ECS中使用Curl命令执行SQL搜索数据 例如,执行如下命令,从“kibana_sample_data_flights”索引中搜索出10条数据。 curl -XPOST https://
能。 本集群仅做入门指导使用,无需开启集群快照和高级功能。 单击“下一步:确认配置”,确认完成后单击“立即创建”开始创建集群。 单击“返回集群列表”,系统将跳转到“集群管理”页面。您创建的集群将展现在集群列表中,且集群状态为“创建中”,创建成功后集群状态会变为“可用”。 步骤2:导入数据
在OpenSearch集群使用向量索引搜索数据 使用向量索引搜索数据支持多种方式。 标准查询 复合查询 ScriptScore查询 重打分查询 Painless语法扩展查询 标准查询 针对创建了向量索引的向量字段,提供了标准向量查询语法。下述查询命令将会返回所有数据中与查询向量最近的size(topk)条数据。
则会导致迁移后的源集群数据和目标集群数据内容不一致。 源集群和目标集群的版本必须一致。 前提条件 源Elasticsearch集群和目标Elasticsearch集群处于可用状态。 集群间需要保证网络连通。 如果源集群和目标集群在不同VPC,则需要先打通VPC网络建立对等连接。具体操作请参见对等连接简介。