检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当用户已完成数据搜索业务,无需继续使用某一集群时,可删除集群释放资源。 约束限制 删除集群时,会清理集群业务数据,请谨慎操作。 如果集群没有备份快照,则删除后不可恢复集群数据。当集群启用过快照功能,且OBS桶中创建的快照并未被删除,此时删除集群时,并不会释放这部分备份数据。如果有需
基于集群规划,创建合适的Logstash集群。 创建Logstash集群 配置路由 当Logstash集群与数据源子网位于同一主网卡时,网络自动互通;如果不通,则需在Logstash集群的每个节点上配置指向源数据服务器IP的回程路由。 配置Logstash集群路由 配置Logstash迁移任务 通过
配置Elasticsearch集群大查询隔离 配置Elasticsearch集群聚合增强 配置Elasticsearch集群读写分离 切换Elasticsearch集群冷热数据 配置Elasticsearch集群索引回收站 父主题: 使用Elasticsearch搜索数据
redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明 elasticsearch 从Elasticsearch类型集群导入数据到Elasticsearch类型集群。 elasticsearch模板说明 jdbc 从jdbc导入数据到Elasticsearch类型集群。
在切换可用区前,建议备份所有关键数据,以免造成数据丢失。 约束限制 为了保证业务的连续性,集群中数据节点和冷数据节点的个数之和要不小于3。 切换过程中会逐一下线节点再新建节点,需要保证单节点下线后,其余节点的磁盘容量能够接纳该节点的所有数据。 集群中索引的最大主备分片数能够被分配到剩余数据节点和冷数据
方案概述 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。 本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建超过1天时,自动滚动生成新索引;当索引创建7天后,关闭数据副本;当索引创建30天后,删除该索引。
2以前的集群,不能有close的索引,否则不支持替换数据节点或冷数据节点。 被替换的数据节点或冷数据节点所在的AZ需要有两个及以上的数据节点或冷数据节点。 当替换的数据节点或冷数据节点所在集群不存在Master节点时,则集群中可用的数据节点数量和冷数据节点数量之和要大于等于3。 当替换的是M
CES中Logstash集群支持的监控指标 使用CES监控Logstash集群 查询和管理Logstash集群日志 父主题: 使用Logstash迁移数据
当数据的写入与查询突然变得缓慢时,可以升级数据节点的“节点规格”提高数据节点的查询与写入效率。 当存在冷数据查询缓慢时,可以升级冷数据节点的“节点规格”,提高数据查询的效率。 变更节点规格也支持将大规格更改为小规格,但是此变更会降低集群的处理性能,进而影响业务能力,请谨慎使用。 不支持同时修改节点规格和磁盘类型。
方案概述 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。 本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建超过1天时,自动滚动生成新索引;当索引创建7天后,关闭数据副本;当索引创建30天后,删除该索引。
选择“资源实例”页签,查看集群的监控指标。 资源实例:选择要查看监控信息的集群,默认选择当前集群。支持多选,进行数据对比。 支持设置监控时间,以及查看同一集群的同比/环比数据。 添加视图分组:支持在默认分组的基础上新增自定义的分组。当鼠标悬停在左侧分组名称上,右侧会显示修改名称和删除分组的图标,可以修改分组。
系统的容错能力。 当现有Logstash节点处理能力达到极限,无法满足日益增长的数据量时,扩容可以提供更多的处理能力,保证数据流的顺畅处理。 当Logstash集群需要执行更复杂的数据处理逻辑,如数据丰富、转换等,扩容可以提供更多的计算资源来处理这些任务 。 扩容节点数量 升级节点规格
求。 冷数据节点(ess-cold) 冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。 需要存储大量历史数据:当需要存储大量不常访问但对分析有用的历史数据时,使用冷数据节点可以提供成本效益较高的存储解决方案。 需要优化热数
t节点时,数据节点将用于存储数据并提供接入集群和分析数据的功能。 当集群未启用Master节点但启用了Client节点时,数据节点将用于存储数据并提供集群管理功能。 当集群同时启用了Master节点和Client节点时,数据节点将仅用于存储数据。 说明: 当集群中数据节点的数量和
创建Logstash配置文件 启动Logstash迁移任务 停止Logstash迁移任务 Logstash配置文件模板介绍 父主题: 使用Logstash迁移数据
非安全模式的集群将无需安全认证即可访问,且采用的是HTTP协议传输数据,所以请确保集群访问环境的安全性,勿将访问接口暴露到公网环境上。 在安全模式切换为非安全模式的过程中,变更任务会删除原安全模式的集群用到的索引。切换前请做好数据备份,以免数据丢失。 如果集群已绑定公网IP,则无法将安全模式切换
Elasticsearch集群访问方式 导入数据 Elasticsearch集群提供多种数据导入方式,包括Logstash、开源Elasticsearch API、云数据迁移服务CDM和数据复制服务DRS,支持不同来源和格式的数据导入,以及针对关系型数据库的实时同步,用户可根据业务场景和数据特性选择最佳方法。
云服务资源的操作,创建数据类追踪器后,系统会开始记录用户对OBS桶中数据的操作。云审计服务管理控制台会保存最近7天的操作记录。 当需要在云审计服务管理控制台查看或导出最近7天的操作记录时,请参见查询审计事件。 父主题: 使用Elasticsearch搜索数据
也支持将集群正常状态时创建的快照恢复至其他集群。但是无法扩容集群、访问Kibana、创建快照或将快照恢复至此集群。建议不要执行导入数据的操作,避免数据丢失。您可以查看监控或重启集群处理异常,当依旧执行失败时,请及时联系技术支持。 任务状态 展示重启集群、扩容集群、缩容集群等任务的状态。
获取云搜索服务信息 2.配置NAT网关 3.修改云搜索服务安全组规则 4.通过公网访问云搜索服务 如果非安全模式集群使用此功能,则会把集群数据直接暴露到公网,请禁用此功能。 获取云搜索服务信息 登录云搜索服务管理控制台。 在“集群管理”页面,单击集群名称,进入集群基本信息页面。