检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Logstash迁移数据 Logstash使用流程 Logstash集群规划建议 创建Logstash集群 配置Logstash集群路由 配置Logstash迁移任务 扩缩容Logstash集群 管理Logstash集群 Logstash集群监控与日志管理 查看Logstash集群审计日志
热停止pipeline迁移数据 功能介绍 该接口用于热停止pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/hot-stop 表1 路径参数 参数 是否必选
置指向源数据服务器IP的回程路由。 配置Logstash集群路由 配置Logstash迁移任务 通过Logstash集群的配置中心,可以创建并启动Logstash配置文件,以实现数据从不同数据源到目的端的迁移。 创建Logstash配置文件 启动Logstash迁移任务 运维 扩缩容
当Logstash集群和数据源的子网不在同一个主网卡时,需要配置Logstash集群路由,给Logstash集群的每个节点新增一个指向目标IP地址(即源数据所在的服务器IP地址)的回程路由,以此打通Logstash集群和数据源之间的网络。 配置Logstash集群路由 登录云搜索服务管理控制台。 左侧导航栏选择“集群管理
CPU架构 仅支持“X86计算”。 节点规格 集群中的节点规格。您可以根据需求,选择对应的规格。每个集群只能选择一个规格,规格的详细说明可参考弹性云服务器的实例类型与规格。 节点存储 当“节点规格”选择的是云硬盘时,需要选择集群节点的云硬盘类型。节点存储支持普通I/O、高I/O、超高I/O、极速型SSD。
为Logstash集群绑定企业项目 管理Logstash集群的CA证书 强制重启Logstash集群 删除Logstash集群 父主题: 使用Logstash迁移数据
扩缩容Logstash集群 扩容Logstash集群 缩容Logstash集群 父主题: 使用Logstash迁移数据
维护简便:较少的节点数量意味着更少的维护工作和更低的管理复杂性。 相比之下,低配置集群在需要扩容时,往往需要进行纵向扩展,即提升单个节点的配置。这不仅可能涉及更复杂的迁移和升级过程,还可能增加额外的维护成本和技术挑战。 因此,在规划集群时,应综合考虑性能、成本、维护和扩展性,选择最适合业务需求的节点规格。 规划存储容量
cluster createCnf 更新配置文件 cluster updateCnf 启动Pipeline迁移数据 cluster startPipeline 停止Pipeline迁移数据 cluster stopPipeline 添加到自定义模板 cluster addFavorite
CES中Logstash集群支持的监控指标 使用CES监控Logstash集群 查询和管理Logstash集群日志 父主题: 使用Logstash迁移数据
删除Logstash集群 当用户已完成Logstash数据迁移业务,无需继续使用某一集群时,可删除集群释放资源。 约束限制 删除集群时,会清理集群业务数据,请谨慎操作。 删除按需计费的集群 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表界面。 在对应集群的“操作”列中单击“更多>删除”。
扩容Logstash集群 当Logstash集群的数据面业务变化,需要动态调整集群节点的数量和规格时,可以执行扩容Logstash集群。 场景描述 表1 Logstash集群的扩容场景 场景 描述 相关文档 增加节点数量 只支持扩容集群的“节点数量”。适用于如下场景: 当需要确保
设置Logstash集群标签 标签是集群的标识。为集群添加标签,可以方便用户识别和管理拥有的集群资源。 您可以在创建集群时添加标签,也可以在集群创建完成后,在集群的详情页添加标签。 约束限制 云搜索服务的每个集群最多可以设置20个标签。 如您的组织已经设定云搜索服务的相关标签策略
缩容Logstash集群 当集群有充足的能力处理当前数据时,为节省资源可以缩容Logstash集群。 缩容Logstash集群是通过随机下线节点减少集群的“节点数量”,减少集群占用的资源。 前提条件 集群处于“可用”状态,且无正在进行的任务。 约束限制 缩容是通过下线节点减少节点
查看Logstash集群信息 在Logstash集群的列表页和基本信息页,可以获取集群的状态、版本、节点等信息。 集群列表介绍 集群列表会展示当前账号下同一集群类型的所有集群。当集群数量较多时,会翻页显示,支持查看任何状态下的集群。 集群列表默认按时间顺序排列,时间最近的集群显示在最前端。
强制重启Logstash集群 当Logstash集群由于长时间运行或者其他未知原因导致Logstash故障不可用时,可以通过强制重启VMs集群恢复集群运行。 约束限制 重启过程中集群不可用,请谨慎操作。 工作中状态的集群,重启过程会主动停止Logstash进程。 当管道列表“是否
管理Logstash集群的CA证书 当Logstash集群连接CSS服务的Elasticsearch集群时,可以跳过本文直接使用默认CA证书,当连接其他需要安全认证的数据源时,则需要参考文本配置自定义证书。 场景描述 当Logstash集群连接安全模式+HTTPS协议的Elast
为Logstash集群绑定企业项目 企业可以根据组织架构规划企业项目,将企业分布在不同区域的资源按照企业项目进行统一管理,同时可以为每个企业项目设置拥有不同权限的用户组和用户。本章节为您介绍CSS集群如何绑定、修改企业项目。 前提条件 在使用企业项目前,需账号开通权限才可以进行操作。开通权限可以通过提交工单进行申请。
使用CES监控Logstash集群 云搜索服务支持通过云监控服务CES对已创建成功的集群进行日常监控。配置集群监控后,就可以在CES管理控制台直观查看集群的监控指标数据。 配置集群监控的操作流程: 配置告警规则:根据实际业务需要对监控指标设置自定义告警规则,当监控指标超过设置的阈
查询和管理Logstash集群日志 为了方便用户使用日志定位问题,云搜索服务提供了日志备份和日志查询功能。日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。