检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka消息堆积了怎么办？ 问题现象：实例的监控指标“消息堆积数”产生了告警。 处理方法1： 登录Kafka实例控制台，单击产生告警的实例名称，进入实例详情页。 在左侧导航栏，单击“监控与告警 > 监控详情”，进入监控页面。 在“消费组”页签中，查看“消息堆积数（消费组可消费消息数）”，找出消息堆积的消费组。
以实时查看监控指标及审计日志，以便及时了解Kafka实例节点、队列、消费组等相关状态。 日常操作 查看实例信息 扩容实例存储空间 扩容实例代理个数 开启Smart Connect 删除消费组 重置消费进度 修改配置参数 设置Topic的ACL权限 运维与监控 支持的监控指标 设置监控指标告警
在“消费进度”页签中，查看消费组消费的所有Topic列表以及每个Topic的总堆积数和每个分区的消费状态。 集群监控信息/队列监控信息 在“监控”页面，查看实例的监控信息。 前提条件 已配置如表2所示安全组。 表2 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9999
Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资
在Kafka控制台的“监控与告警 > 监控详情”页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“主题”选择“全部Topic”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看Kafka监控数据。 在云监控页面的“消费
消息从生产到消费时延高达6分钟 问题现象 消息从生产到消费的端到端时延偶现到达6分钟，业务对消息时延较为敏感。 分析过程 怀疑是业务堆积，处理慢导致时延。 通过查看监控数据，发现业务请求并不是很多，堆积最多时也只有50条消息，同时每秒新增消息只有10条左右，应该还没有到达处理极限。 排查EIP流量情况，发现入流量存在下降的场景。
在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例的名称，进入实例详情页面。 在左侧导航栏单击“流控管理 > 流控监控”，进入流控监控页面。 设置查询带宽使用量的参数。 表1 查询带宽使用量的参数说明 参数 说明 统计方式 设置带宽使用量的统计方式。 前n个：统计
Point Objective）趋近于0。 无忧运维 华为云提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免7*24小时人工值守。Kafka实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。
区数有关，具体请参考Kafka集群实例。 是否支持自动创建Topic 支持。开启自动创建Topic表示生产或消费一个未创建的Topic时，系统会自动创建此Topic，此Topic的默认参数值如下： 单机实例分区数为1，集群实例分区数为3。 单机实例副本数为1，集群实例副本数为3。
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
设置不同的访问Kafka实例的权限，以达到不同用户之前的权限隔离。 云监控（Cloud Eye） 云监控是一个开放性的监控平台，提供资源的实时监控、告警、通知等服务。 Kafka实例向CloudEye上报监控数据的更新周期为1分钟。 弹性公网IP（Elastic IP） 弹性公网
错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时
在左侧导航栏选择“Topic管理”，进入Topic列表页面。 单击Topic名称，进入Topic详情页面。 Topic详情页面显示Topic的基本信息、订阅关系、分区信息和生产者信息。 基本信息：包含Topic名称、关联代理、分区数和创建时间。 创建Topic的时间或方式满足以下任意一种情况时，Topic详情页面不显示创建时间。
参数说明： ssl.truststore.location配置为client.jks证书的存放路径。注意，Windows系统下证书路径中也必须使用“/”，不能使用Windows系统中复制路径时的“\”，否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码
使用云监控服务对Kafka进行实时监控和告警。 为使您更好地掌握Kafka实例状态，华为云提供了云监控服务（Cloud Eye）。您可使用该服务监控自己的Kafka实例，执行自动实时监控、告警和通知操作，帮助您实时掌握Kafka实例中所产生的请求、流量等信息。 云监控服务不需要
资源优化 您可以通过云监控服务监控资源的使用情况，识别空闲资源，寻找节约成本的机会。也可以根据成本分析阶段的分析结果识别成本偏高的资源，然后采取针对性的优化措施。 监控资源利用率，评估当前配置是否过高。例如：CPU、内存、云硬盘等资源的利用率。 监控闲置的资源，避免浪费。例如：未挂载的云硬盘、未绑定的EIP等。
分区平衡，CPU使用率在90%以上时，不建议进行分区平衡。Topic的数据量和CPU使用率可以通过监控页面的“队列数据容量”和“CPU使用率”查看，具体步骤请参考查看Kafka监控数据。 带宽限制是指设定Topic进行副本同步的带宽上限，确保不会对该实例上的其他Topic造成流量
实例连接地址与端口 实例创建后，从Kafka实例控制台的基本信息页面中获取。 如果Kafka实例为集群部署，至少有3个连接地址，在客户端配置时，建议配置所有的连接地址，提高可靠性。 如果开启公网访问，还可以使用基本信息页面下方的公网连接地址访问Kafka实例。 图1 查看Kafka实例Broker连接地址与端口
区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致，规格为4U8G，Linux系统的ECS。 区域、虚拟私有云、子网、安全组与Kafka实例保持一致，“可用区”为“可用区2”，规格为4U8G，Linux系统的ECS。 购买完成ECS后，需要在ECS中完成以下配置： 安装Java J
组的其他消费者阻塞session.timeout.ms的时间。 消费组名称开头不使用特殊字符（如#），使用特殊字符可能会导致云监控无法展示此消费组的监控数据。 producer使用建议 同步复制客户端需要配合使用：acks=all 配置发送失败重试：retries=3 发送优化：对于时延敏感的信息，设置linger
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
