检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ash集群用于迁移Elasticsearch集群的数据。 步骤3:配置迁移任务:在Logstash集群配置Elasticsearch集群的迁移任务。 步骤4:启动迁移任务:在Logstash集群启动配置好的迁移任务。 步骤5:停止任务:当数据迁移完成,不再需要迁移任务时,您可以停止任务。
使用Logstash迁移数据 Logstash使用流程 Logstash集群规划建议 创建Logstash集群 配置Logstash集群路由 配置Logstash迁移任务 扩缩容Logstash集群 管理Logstash集群 Logstash集群监控与日志管理 查看Logstash集群审计日志
停止pipeline迁移数据 功能介绍 该接口用于停止pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/stop 表1 路径参数 参数 是否必选 参数类型
热启动pipeline迁移数据 功能介绍 该接口用于热启动pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/hot-start 表1 路径参数 参数 是否必选
热停止pipeline迁移数据 功能介绍 该接口用于热停止pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/hot-stop 表1 路径参数 参数 是否必选
配置Logstash集群路由 配置Logstash迁移任务 通过Logstash集群的配置中心,可以创建并启动Logstash配置文件,以实现数据从不同数据源到目的端的迁移。 创建Logstash配置文件 启动Logstash迁移任务 运维 扩缩容 CSS服务提供灵活的扩容和缩容
为Logstash集群绑定企业项目 管理Logstash集群的CA证书 强制重启Logstash集群 删除Logstash集群 父主题: 使用Logstash迁移数据
在“网络配置”页面,完成Logstash集群的网络和安全组配置。 表2 参数说明 参数 说明 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 单击“查看虚拟私有云”跳转到虚拟私有云列表,查看已创建或共享至当前账号下的VPC名称和ID。 如果没有合适的VPC,建议联系CS
扩缩容Logstash集群 扩容Logstash集群 缩容Logstash集群 父主题: 使用Logstash迁移数据
单击“确定”完成集群路由配置。 单击“集群路由”后面的“查看”,在“集群路由”弹窗中可以了解集群路由更新信息。 父主题: 使用Logstash迁移数据
维护简便:较少的节点数量意味着更少的维护工作和更低的管理复杂性。 相比之下,低配置集群在需要扩容时,往往需要进行纵向扩展,即提升单个节点的配置。这不仅可能涉及更复杂的迁移和升级过程,还可能增加额外的维护成本和技术挑战。 因此,在规划集群时,应综合考虑性能、成本、维护和扩展性,选择最适合业务需求的节点规格。 规划存储容量
cluster createCnf 更新配置文件 cluster updateCnf 启动Pipeline迁移数据 cluster startPipeline 停止Pipeline迁移数据 cluster stopPipeline 添加到自定义模板 cluster addFavorite
删除Logstash集群 当用户已完成Logstash数据迁移业务,无需继续使用某一集群时,可删除集群释放资源。 约束限制 删除集群时,会清理集群业务数据,请谨慎操作。 删除按需计费的集群 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表界面。 在对应集群的“操作”列中单击“更多>删除”。
CES中Logstash集群支持的监控指标 使用CES监控Logstash集群 查询和管理Logstash集群日志 父主题: 使用Logstash迁移数据
强制重启Logstash集群 当Logstash集群由于长时间运行或者其他未知原因导致Logstash故障不可用时,可以通过强制重启VMs集群恢复集群运行。 约束限制 重启过程中集群不可用,请谨慎操作。 工作中状态的集群,重启过程会主动停止Logstash进程。 当管道列表“是否
设置Logstash集群标签 标签是集群的标识。为集群添加标签,可以方便用户识别和管理拥有的集群资源。 您可以在创建集群时添加标签,也可以在集群创建完成后,在集群的详情页添加标签。 约束限制 云搜索服务的每个集群最多可以设置20个标签。 如您的组织已经设定云搜索服务的相关标签策略
缩容Logstash集群 当集群有充足的能力处理当前数据时,为节省资源可以缩容Logstash集群。 缩容Logstash集群是通过随机下线节点减少集群的“节点数量”,减少集群占用的资源。 前提条件 集群处于“可用”状态,且无正在进行的任务。 约束限制 缩容是通过下线节点减少节点
集群设置的存储容量。 集群存储使用量(GB) 集群已使用的存储容量。 配置信息 区域 集群所在区域。 可用区 集群所在的可用区。 虚拟私有云 集群所属的虚拟私有云。 子网 集群所属的子网。 安全组 集群所属的安全组。 单击右侧的“更改安全组”可以修改集群的安全组信息。 须知: 进行安全组切
扩容Logstash集群 当Logstash集群的数据面业务变化,需要动态调整集群节点的数量和规格时,可以执行扩容Logstash集群。 场景描述 表1 Logstash集群的扩容场景 场景 描述 相关文档 增加节点数量 只支持扩容集群的“节点数量”。适用于如下场景: 当需要确保
管理Logstash集群的CA证书 当Logstash集群连接CSS服务的Elasticsearch集群时,可以跳过本文直接使用默认CA证书,当连接其他需要安全认证的数据源时,则需要参考文本配置自定义证书。 场景描述 当Logstash集群连接安全模式+HTTPS协议的Elast