检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Sarama客户端消息最大处理时间（MaxProcessingTime）默认值为100ms，超过最大处理时间可能导致消费者无法消费。 当消费位点重置策略设置为Oldest(earliest)时，当客户端重启时，偏移量重置后可能从最小位点开始重复消费所有消息。 消费者同时订阅多个Topic时，部分分区可能无法消费到消息。
费组。 解决办法：关闭自动创建消费组功能，即在Kafka控制台的“配置参数”页面，把“auto.create.groups.enable”设置为“false”，然后再删除消费组。部分实例在“配置参数”中没有“auto.create.groups.enable”参数，具体以控制台为
默认值会是0或者-1，则查询不到消息。 解决方法：检查客户端消息的createTime设置是否正确。 可能原因3：磁盘容量超过95%，且“容量阈值策略”设置为“自动删除”。 “容量阈值策略”设置为“自动删除”，表示磁盘容量达到95%时，系统会删除最早的10%的消息，以保证磁盘容量
区Leader为旧分区Leader ID，仍然会向旧分区Leader发送消息，导致生产消息失败。 解决方法：在生产客户端配置重试机制。建议设置retries=Integer.MAX_VALUE 父主题： 实例规格变更问题
当流控值达到上限后，会导致生产/消费的时延增大。 设置的流控值较小且生产者速率较大时，可能会造成生产超时、消息丢失，导致部分消息生产失败。 初始生产/消费的流量较大，如果设置一个较小的流控值，会导致生产/消费的时延增大、部分消息生产失败。建议逐次减半设置流控值，待生产/消费稳定后继续减半设置，直到设置为目标流控值。
被踢出消费组，此时可能会导致消费异常，需要重点关注。 消费者被服务端认为异常从而被踢出消费组的场景如下： 未能及时发送心跳请求。 消费者以设置的heartbeat.interval.ms为间隔向broker发送心跳请求，如果broker在session.timeout.ms时间内
输入带宽大小，默认值为“-1”，表示不限制带宽。 如果实例负载较低（例如实例规格为300MB/s，当前实例负载为30MB/s），建议不设置带宽限制。如果需要设置带宽限制，建议该参数值不小于待分区平衡Topic的总生产带宽 * 待分区平衡Topic的最大副本数。 带宽限制值的估算方法，请参考带宽限制值估算方法。
在告警规则页面，设置告警信息。 创建告警规则操作，请查看创建告警规则。 设置告警名称和告警的描述。 设置告警策略。 如下图所示，在进行指标监控时，如果连续1次，磁盘容量使用率原始值>=80%，则产生告警，如果未及时处理，则产生告警通知。 图1 设置告警策略 设置“发送通知”开关。
Kafka服务和ZK是部署在相同的虚拟机中，还是分开部署？ Kafka服务和ZK部署在相同的虚拟机中。 父主题： 实例问题
本章节介绍在对消费消息实时性要求不高的场景中，如何优化消费者Polling，减少消息较少或者没有消息时的资源浪费。 Logstash对接Kafka生产消费消息 Kafka实例可以作为Logstash输入源，也可以作为Logstash输出源。本章节介绍Logstash如何对接Kafka实例生产消费消息。
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题： 连接实例
到消息？ Kafka消息堆积了怎么办？ 消息超过老化时间，消息仍存在的原因 Kafka实例是否支持延迟消息？ 如何查看堆积消息数？ 为什么消息创建时间显示1970？ 如何修改message.max.bytes参数？ 为什么offset不连续？
统计Broker节点每秒公网访问流入流量。 单位：Byte/s、KB/s、MB/s、GB/s 已开启公网访问的实例，支持此监控项。 0~500000000 Kafka实例节点 1分钟 broker_public_bytes_out_rate 公网出流量 统计Broker节点每秒公网访问流出流量。
扩容失败提示资源不足 问题现象：扩容失败，提示底层ECS/EVS资源不足，但在ECS控制台可以购买对应规格的ECS。 可能原因：底层资源配额与控制台界面显示的可用规格配额存在差异。 解决方法：联系客服增加配额数。 父主题： 实例规格变更问题
副本的Topic需要在生产客户端配置重试机制，方法如下： 生产客户端为Kafka开源客户端时，检查是否配置retries参数，建议此参数值设置为3~5。 生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。 StreamExecutionEnvironment
cd180d14e684b", "name": "xxx-xxx-xxx", "description": "", "links": { "next": null,
安全 责任共担 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 认证证书
内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达200个，存储空间、代理数量和代理规格支持弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数、副本数。
管理Kafka Manager 访问Kafka Manager 重置Kafka Manager密码 重启Kafka Manager 关闭Kafka Manager 父主题： 管理实例
Kafka实例是否支持查看单个Topic占用磁盘空间？ Topic是否支持ACL权限配置？ 消息被消费后，没有删除，导致Kafka存储空间占满？ 如何扩总分区？ 修改自动创建Topic的配置，会触发重启吗？ 消费者消费Topic失败，提示没有权限？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
