检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Kafka实例名称所在行，单击“查看监控数据”，跳转到云监控页面。在“主题”页签中，“主题”选择待查看磁盘空间大小的Topic名称，“监控类型”选择“基本监控”，查看“队列数据容量”，该指标表示该队列当前的消息数据大小。 单击Kafka实例名称，进入实例详情页。在左侧导航栏选择“监控与告警 > 监控详情”，
业务过载处理建议 方案概述 Kafka业务过载，一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时，系统的运行速度会降低，并有加速硬件损坏的风险。 当磁盘写满时，相应磁盘上的Kafka日志目录会出现offline问题。此时，该磁盘上的分区副本不可读写，降低了分区的可
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区，消息被分布式存储在分区中。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就
消息批量生产与消费 图2 消息逐条生产与消费 此外，批量消费消息时，消费者应按照接收的顺序对消息进行处理、确认，当对某一条消息处理失败时，不再需要继续处理本批消息中的后续消息，直接对已正确处理的消息进行确认即可。 巧用消费组协助运维 用户使用分布式消息服务Kafka版作为消息中间件，查看
查询：使用量排名前xx个、使用量达到xx GB和使用占比达xx%。 在页面右上角，单击“查看监控数据”，跳转到云监控服务的监控指标页面。在监控指标页面，您可以查看Kafka实例的各项监控指标。 图1 查看磁盘的使用量 父主题： 管理实例
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实
在Kafka控制台的“监控与告警 > 监控详情”页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“主题”选择“全部Topic”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看Kafka监控数据。 在云监控页面的“消费
分布式消息服务Kafka版一般在1个月内进行修复，修复策略与社区保持一致。 操作系统紧急漏洞按照操作系统修复策略和流程对外发布，一般在一个月内提供修复方案，用户自行修复。 其他漏洞： 按照版本正常升级流程解决。 修复声明 为了防止客户遭遇不当风险，除漏洞背景信息、漏洞详情、漏洞原
设置不同的访问Kafka实例的权限，以达到不同用户之前的权限隔离。 云监控（Cloud Eye） 云监控是一个开放性的监控平台，提供资源的实时监控、告警、通知等服务。 Kafka实例向CloudEye上报监控数据的更新周期为1分钟。 弹性公网IP（Elastic IP） 弹性公网
consumer使用建议 consumer的owner线程需确保不会异常退出，避免客户端无法发起消费请求，阻塞消费。 确保处理完消息后再做消息commit，避免业务消息处理失败，无法重新拉取处理失败的消息。 通常不建议对每条消息都进行commit，如果对每条消息都进行了commit，会导致OFFS
分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称，进入实例详情页面。 在左侧导航栏单击“流控管理 > 流控监控”，进入流控监控页面。 设置查询带宽使用量的参数。 表1 查询带宽使用量的参数说明 参数 说明 统计方式 设置带宽使用量的统计方式。 前n个：统计
测试Kafka生产速率和CPU消耗 本章节从批处理大小、是否跨AZ生产、副本数、同步/异步复制的维度进行分布式消息服务Kafka版的性能测试，对比客户端消息生产速率和服务端CPU消耗，得出性能测试结果。 测试场景一（批处理大小）：相同的Kafka实例和Topic，不同的消息大小
向或双向同步数据。 消息堆积处理建议 本章节描述了消息堆积的原因，以及处理措施。 业务过载处理建议 本章节描述了CPU使用率高和磁盘写满的原因，以及处理措施。 业务数据不均衡处理建议 本章节描述了业务数据不均衡的原因，以及处理措施。 配置消息堆积数监控 本章节介绍如何创建消息堆积
在“消费进度”页签中，查看消费组消费的所有Topic列表以及每个Topic的总堆积数和每个分区的消费状态。 集群监控信息/队列监控信息 在“监控”页面，查看实例的监控信息。 前提条件 已配置如表2所示安全组。 表2 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9999
资源优化 您可以通过云监控服务监控资源的使用情况，识别空闲资源，寻找节约成本的机会。也可以根据成本分析阶段的分析结果识别成本偏高的资源，然后采取针对性的优化措施。 监控资源利用率，评估当前配置是否过高。例如：CPU、内存、云硬盘等资源的利用率。 监控闲置的资源，避免浪费。例如：未挂载的云硬盘、未绑定的EIP等。
Point Objective）趋近于0。 无忧运维 华为云提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免7*24小时人工值守。Kafka实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。
SSL双向认证为白名单特性，需要联系后台管理人员开通后方可使用。 开启/关闭SSL双向认证将重启实例，请谨慎操作。 配置SSL双向认证的流程如图1所示。 图1 配置SSL双向认证流程图 前提条件 已准备一台Linux系统的服务器，并安装Java Development Kit 1.8.111或以上版本，配置JAVA_HOME与PATH环境变量。
使用云监控服务对Kafka进行实时监控和告警。 为使您更好地掌握Kafka实例状态，华为云提供了云监控服务（Cloud Eye）。您可使用该服务监控自己的Kafka实例，执行自动实时监控、告警和通知操作，帮助您实时掌握Kafka实例中所产生的请求、流量等信息。 云监控服务不需要
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。
向Topic（消息主题）发布消息的一方。发布消息的最终目的在于将消息内容传递给其他系统/模块，使对方按照约定处理该消息。 消费者（Consumer） 从Topic（消息主题）订阅消息的一方。订阅消息最终目的在于处理消息内容，如日志集成场景中，监控告警平台（消费者）从主题订阅日志消息，识别出告警日志并发送告警消息/邮件。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
