检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为Logstash集群绑定企业项目 管理Logstash集群的CA证书 强制重启Logstash集群 删除Logstash集群 父主题: 使用Logstash迁移数据
方案概述 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。 本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建超过1天时,自动滚动生成新索引;当索引创建7天后,关闭数据副本;当索引创建30天后,删除该索引。
redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明 elasticsearch 从Elasticsearch类型集群导入数据到Elasticsearch类型集群。 elasticsearch模板说明 jdbc 从jdbc导入数据到Elasticsearch类型集群。
2以前的集群,不能有close的索引,否则不支持替换数据节点或冷数据节点。 被替换的数据节点或冷数据节点所在的AZ需要有两个及以上的数据节点或冷数据节点。 当替换的数据节点或冷数据节点所在集群不存在Master节点时,则集群中可用的数据节点数量和冷数据节点数量之和要大于等于3。 当替换的是M
方案概述 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。 本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建超过1天时,自动滚动生成新索引;当索引创建7天后,关闭数据副本;当索引创建30天后,删除该索引。
群状态为“创建中”,创建成功后集群状态会变为“可用”。 如果集群创建失败,请根据界面提示重新创建集群。 父主题: 使用Logstash迁移数据
监控安全风险 云监控(Cloud Eye)是面向华为云资源的监控平台,提供了实时监控、及时告警、资源分组、站点监控等能力。CSS服务基于云监控服务CES,从集群和节点两个维度提供了丰富的监控指标,监控信息通过CES对外提供可视化报表展示。 CSS支持的监控指标请参见支持的监控指标
基于集群规划,创建合适的Logstash集群。 创建Logstash集群 配置路由 当Logstash集群与数据源子网位于同一主网卡时,网络自动互通;如果不通,则需在Logstash集群的每个节点上配置指向源数据服务器IP的回程路由。 配置Logstash集群路由 配置Logstash迁移任务 通过
扩缩容Logstash集群 扩容Logstash集群 缩容Logstash集群 父主题: 使用Logstash迁移数据
通过Go客户端接入Elasticsearch集群 通过LDAP接入Elasticsearch集群 父主题: 使用Elasticsearch搜索数据
群的正常使用。 当数据节点任务分发量、结果汇聚量过大时,可以升级Client节点的“节点规格”。 当数据的写入与查询突然变得缓慢时,可以升级数据节点的“节点规格”提高数据节点的查询与写入效率。 当存在冷数据查询缓慢时,可以升级冷数据节点的“节点规格”,提高数据查询的效率。 变更节
获取云搜索服务信息 2.配置NAT网关 3.修改云搜索服务安全组规则 4.通过公网访问云搜索服务 如果非安全模式集群使用此功能,则会把集群数据直接暴露到公网,请禁用此功能。 获取云搜索服务信息 登录云搜索服务管理控制台。 在“集群管理”页面,单击集群名称,进入集群基本信息页面。
求。 冷数据节点(ess-cold) 冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。 需要存储大量历史数据:当需要存储大量不常访问但对分析有用的历史数据时,使用冷数据节点可以提供成本效益较高的存储解决方案。 需要优化热数
下线单节点后,剩余节点能够包含集群的所有数据。 数据副本 系统检查 检测集群中索引的最大主备分片数是否能够分配到剩余数据节点和冷数据节点中,防止升级过程中出现节点下线后副本无法分配的情况。 索引的主备分片数的最大值+1 ≤ 升级前的数据节点数和冷数据节点之和 数据备份 系统检查 升级前要做好数据备份,防止升
t节点时,数据节点将用于存储数据并提供接入集群和分析数据的功能。 当集群未启用Master节点但启用了Client节点时,数据节点将用于存储数据并提供集群管理功能。 当集群同时启用了Master节点和Client节点时,数据节点将仅用于存储数据。 说明: 当集群中数据节点的数量和
创建Logstash配置文件 启动Logstash迁移任务 停止Logstash迁移任务 Logstash配置文件模板介绍 父主题: 使用Logstash迁移数据
配置Elasticsearch集群终端节点服务 配置Elasticsearch集群独享型负载均衡 父主题: 使用Elasticsearch搜索数据
非安全模式的集群将无需安全认证即可访问,且采用的是HTTP协议传输数据,所以请确保集群访问环境的安全性,勿将访问接口暴露到公网环境上。 在安全模式切换为非安全模式的过程中,变更任务会删除原安全模式的集群用到的索引。切换前请做好数据备份,以免数据丢失。 如果集群已绑定公网IP,则无法将安全模式切换
也支持将集群正常状态时创建的快照恢复至其他集群。但是无法扩容集群、访问Kibana、创建快照或将快照恢复至此集群。建议不要执行导入数据的操作,避免数据丢失。您可以查看监控或重启集群处理异常,当依旧执行失败时,请及时联系技术支持。 任务状态 展示重启集群、扩容集群、缩容集群等任务的状态。
Elasticsearch集群访问方式 导入数据 Elasticsearch集群提供多种数据导入方式,包括Logstash、开源Elasticsearch API、云数据迁移服务CDM和数据复制服务DRS,支持不同来源和格式的数据导入,以及针对关系型数据库的实时同步,用户可根据业务场景和数据特性选择最佳方法。