检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Kafka实例名称所在行，单击“查看监控数据”，跳转到云监控页面。在“主题”页签中，“主题”选择待查看磁盘空间大小的Topic名称，“监控类型”选择“基本监控”，查看“队列数据容量”，该指标表示该队列当前的消息数据大小。 单击Kafka实例名称，进入实例详情页。在左侧导航栏选择“监控与告警 > 监控详情”，
Kafka消息堆积了怎么办？ 问题现象：实例的监控指标“消息堆积数”产生了告警。 处理方法1： 登录Kafka实例控制台，单击产生告警的实例名称，进入实例详情页。 在左侧导航栏，单击“监控与告警 > 监控详情”，进入监控页面。 在“消费组”页签中，查看“消息堆积数（消费组可消费消息数）”，找出消息堆积的消费组。
在“消费进度”页签中，查看消费组消费的所有Topic列表以及每个Topic的总堆积数和每个分区的消费状态。 集群监控信息/队列监控信息 在“监控”页面，查看实例的监控信息。 前提条件 已配置如表2所示安全组。 表2 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9999
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买如下参数的2台ECS服务器，具体步骤请参考购买弹性云服务器。 区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致，规格为4U8G，Linux系统的ECS。 区域、虚拟私有云、子网、安全组与Kafka实例保
在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例的名称，进入实例详情页面。 在左侧导航栏单击“流控管理 > 流控监控”，进入流控监控页面。 设置查询带宽使用量的参数。 表1 查询带宽使用量的参数说明 参数 说明 统计方式 设置带宽使用量的统计方式。 前n个：统计
前提条件 已准备一台Linux系统的服务器，并安装Java Development Kit 1.8.111或以上版本，配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。 步骤一：制作证书 登录Linux系统的服务器，执行以下命令，生成server
Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资
消息从生产到消费时延高达6分钟 问题现象 消息从生产到消费的端到端时延偶现到达6分钟，业务对消息时延较为敏感。 分析过程 怀疑是业务堆积，处理慢导致时延。 通过查看监控数据，发现业务请求并不是很多，堆积最多时也只有50条消息，同时每秒新增消息只有10条左右，应该还没有到达处理极限。 排查EIP流量情况，发现入流量存在下降的场景。
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。
rrorMaker，否则会导致数据在Topic内无限循环复制。 实施步骤 购买一台弹性云服务器，确保弹性云服务器与源集群、目标集群网络互通。具体购买操作，请参考购买弹性云服务器。 登录弹性云服务器，安装Java JDK，并配置JAVA_HOME与PATH环境变量，使用执行用户在用户家目录下修改“
在Kafka控制台的“监控与告警 > 监控详情”页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“主题”选择“全部Topic”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看Kafka监控数据。 在云监控页面的“消费
向Topic（消息主题）发布消息的一方。发布消息的最终目的在于将消息内容传递给其他系统/模块，使对方按照约定处理该消息。 消费者（Consumer） 从Topic（消息主题）订阅消息的一方。订阅消息最终目的在于处理消息内容，如日志集成场景中，监控告警平台（消费者）从主题订阅日志消息，识别出告警日志并发送告警消息/邮件。
前提条件 已准备一台Linux系统的服务器，并安装Java Development Kit 1.8.111或以上版本，配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。 步骤一：制作客户端验证服务端的证书 登录Linux系统的服务器，执行以下命令，生成server
需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组？ 是，如果保留了创建安全组后，系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则，则无需添加其他规则。否则，请添加表1所示规则。 表1 安全组规则 方向 协议
配置Kafka流控 Kafka支持对用户/客户端/Topic配置流量控制，控制生产/消费消息的上限速率。 用户/客户端的流控作用范围是整个Broker，Topic的流控作用范围是指定Topic。 约束与限制 2022年11月10日及以后创建的实例支持此功能。 单机实例不支持配置流控。 操作影响
开源Kafka 简单易用 立等可用 即开即用，可视化操作，自助创建，自动化部署，分钟级创建实例，立即使用，实时查看和管理消息实例。 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API，使用门槛低。 无 成本低廉
错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时
使用云监控服务对Kafka进行实时监控和告警。 为使您更好地掌握Kafka实例状态，华为云提供了云监控服务（Cloud Eye）。您可使用该服务监控自己的Kafka实例，执行自动实时监控、告警和通知操作，帮助您实时掌握Kafka实例中所产生的请求、流量等信息。 云监控服务不需要
Server，简称ECS）作为生产消费客户端。在创建Kafka实例前，请先创建开启弹性公网IP的ECS、安装JDK、配置环境变量以及下载Kafka开源客户端。 登录管理控制台，在左上角单击，选择“计算 > 弹性云服务器”，创建一个ECS实例。 创建ECS的具体步骤，请参考购买弹性云
区数有关，具体请参考Kafka集群实例。 是否支持自动创建Topic 支持。开启自动创建Topic表示生产或消费一个未创建的Topic时，系统会自动创建此Topic，此Topic的默认参数值如下： 单机实例分区数为1，集群实例分区数为3。 单机实例副本数为1，集群实例副本数为3。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
