使用Logstash迁移数据-华为云

云搜索服务 CSS-Logstash使用流程

Logstash使用流程表1 Logstash集群的使用流程任务分类操作参考文档使用规划集群在创建Logstash集群前，需要先完成集群规划。规划时，应考虑是否多可用区部署以提高集群的高可用性，合理配置集群的节点数量与规格，以确保集群的稳定性和性能。 Logstash集群规划建议创建集群基于集群规划，创建合适的Logstash集群。创建Logstash集群配置路由当Logstash集群与数据源子网位于同一主网卡时，网络自动互通；如果不同，则需在Logstash集群的每个节点上配置指向源数据服务器IP的回程路由。配置Logstash集群路由配置Logstash迁移任务通过Logstash集群的配置中心，可以创建并启动Logstash配置文件，以实现数据从不同数据源到目的端的迁移。创建Logstash配置文件启动Logstash迁移任务运维扩缩容 CSS 服务提供灵活的扩容和缩容功能，支持增加节点数量、升级节点规格，以及随机缩容节点，以动态调整集群资源，适应不同业务需求并优化成本。扩容Logstash集群缩容Logstash集群管理集群 CS S服务提供全面的集群管理功能，包括集群信息查看、标签管理、企业项目绑定、自定义CA证书上传等，旨在帮助用户高效、灵活地管理Logstash集群。查看Logstash集群信息设置Logstash集群标签为Logstash集群绑定企业项目管理Logstash集群的CA证书强制重启Logstash集群删除Logstash集群监控与日志管理 CSS服务提供全面的监控和日志管理功能，包括集群、节点和Logstash管道监控指标、告警规则配置、日志备份与查看，帮助用户有效监控和分析Logstash集群，确保集群的稳定性。 CES 中Logstash集群支持的监控指标使用CES监控Logstash集群查询和管理Logstash集群日志审计日志通过云审计服务，用户可以记录和查询Logstash集群的关键操作事件，且操作记录在管理控制台保存最近7天，便于后续的审计和回溯。查看Logstash集群审计日志父主题：使用Logstash迁移数据

云搜索服务 CSS 使用Logstash迁移数据

云搜索服务 CSS-Logstash集群规划建议:规划虚拟私有云和子网

规划虚拟私有云和子网 CSS服务支持在非共享VPC和共享VPC内创建集群。共享VPC和非共享VPC相比，有如下优势：在一个账号内统一创建资源，并将资源共享给其他账号，其他账号无需创建重复资源，可以精简资源数量以及网络架构，提升管理效率并节约成本。比如不同账号下的VPC网络互通需要建立对等连接，使用共享VPC后，则不同账号用户可以在同一个VPC创建资源，免去了对等连接配置，有效的简化组网结构。在一个账号内统一管理运维资源，便于企业集中配置业务安全策略，并且利于对资源使用情况的监控和审计，支撑业务的安全诉求。当选择使用共享VPC创建集群时，需要提前完成共享VPC子网的创建，操作流程请参见表2。有关共享VPC的使用限制及详细操作指导等信息可以参考共享VPC概述。表2 共享子网创建流程说明方法说明操作指导方法A 通过 RAM 管理控制台，所有者创建共享，将子网共享给使用者。配置如下：选择共享子网。为共享子网选择权限，即指定使用者对该共享子网具备的权限。 CSS服务在共享VPC中创建集群需要选择权限：default vpc subnet statement。指定共享子网的使用者，可以指定多个。共享创建完成后，通过RAM管理控制台，使用者可以选择接受或者拒绝共享申请。使用者接受共享申请，子网共享成功。如果后续使用者不再需要使用该共享子网，可以退出该共享。使用者拒绝共享申请，子网共享失败。创建共享接受/拒绝共享邀请退出共享方法B 通过RAM管理控制台，所有者创建共享，将子网共享给使用者。配置如下：选择共享子网。为共享子网选择权限，即指定使用者对该共享子网具备的权限。 CSS服务在共享VPC中创建集群需要选择权限：default vpc subnet statement。指定共享子网的使用者，可以指定多个。通过VPC管理控制台，选择上一步中已创建的共享，将子网加入到该共享内。共享创建完成后，通过RAM管理控制台，使用者可以选择接受或者拒绝共享申请。使用者接受共享申请，子网共享成功。如果后续使用者不再需要使用该共享子网，可以退出该共享。使用者拒绝共享申请，子网共享失败。创建共享将VPC子网共享给其他账号接受/拒绝共享邀请退出共享

云搜索服务 CSS 使用Logstash迁移数据

云搜索服务 CSS-Logstash集群规划建议:规划集群可用区

规划集群可用区为防止数据丢失，并确保在服务中断情况下能降低集群的停机时间，从而增强集群的高可用性，CSS服务支持跨可用区（即多可用区）部署。用户可以在同一个区域内选择两个不同的可用区进行集群部署。在创建集群时，如果用户选择了两个可用区，CSS服务将自动开启跨AZ的高可用性特性，确保节点在这些可用区内均匀分配。系统均匀分配的节点满足各个AZ之间节点数量的差小于等于1，具体的节点分布情况，包括不同数量的节点如何在各个可用区中分布，可以参考表1。在创建集群时，选择的节点数量都要大于等于2，否则跨可用区部署会失败。部署跨AZ集群时，节点会被均匀的分布在不同的AZ上。表1 节点数量和AZ分布集群节点个数单AZ 两AZ AZ1 AZ1 AZ2 1个节点 1 不支持 2个节点 2 1 1 3个节点 3 2 1 4个节点 4 2 2 … … … …

云搜索服务 CSS 使用Logstash迁移数据

云搜索服务 CSS-Logstash集群规划建议:规划节点存储

规划节点存储规划节点机型由于Logstash集群不涉及存储大规格数据，推荐选用计算密集型机型。规划节点规格在规划节点规格时，推荐优先考虑高配置但节点数量较少的方案。例如，一个由3个节点组成的集群，每个节点配置为32核CPU和64GB内存，通常比一个由12个节点组成的集群，每个节点配置为8核CPU和16GB内存，在集群的稳定性和扩展性方面更具优势。优势主要体现在如下方面。集群稳定性：高配置节点通常能提供更强的处理能力和更大的内存空间，从而提高集群的整体稳定性。扩容便捷性：当高配置集群遇到性能瓶颈时，可以通过横向扩展轻松解决，即简单地向集群中添加更多具有相同高配置的节点。这种扩展方式简单直接，易于实施。维护简便：较少的节点数量意味着更少的维护工作和更低的管理复杂性。相比之下，低配置集群在需要扩容时，往往需要进行纵向扩展，即提升单个节点的配置。这不仅可能涉及更复杂的迁移和升级过程，还可能增加额外的维护成本和技术挑战。因此，在规划集群时，应综合考虑性能、成本、维护和扩展性，选择最适合业务需求的节点规格。规划存储容量 Logstash集群的云盘存储容量默认是40GB，且不支持修改，因此无需规划。

云搜索服务 CSS 使用Logstash迁移数据

云服务器内容精选

使用Logstash迁移数据

7*24

备案

专业服务

退订

建议反馈

售前咨询热线