检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
构造请求 本节介绍REST API请求的组成，并以调用IAM服务的管理员创建IAM用户来说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987。 请求URI 请求URI由如下部分组成。
X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证：https://bbs.huaweicloud.com/videos/101333。 父主题： 如何调用API
如何查看堆积消息数？ 通过以下任意一种方法，查看堆积消息数。 在Kafka控制台的“消费组管理”页面，单击待查看堆积消息的消费组名称，进入消费组详情页。在“消费进度”页签，查看消费组中每个Topic的总堆积数。具体步骤，请参考查看消费进度。 在Kafka控制台的“监控与告警 >
SASL认证机制如何修改？ Kafka实例的SASL认证机制包括SCRAM-SHA-512和PLAIN。 密文接入成功开启后，不支持修改SASL认证机制。如果需要修改，请重新创建实例。 父主题： 实例问题
如何修改安全协议？ Kafka实例的安全协议包括SASL_SSL和SASL_PLAINTEXT。 未开启IPv6的实例，安全协议支持在控制台修改。先在Kafka实例的详情页的“连接信息”区域，关闭密文接入，然后再开启密文接入，此时可以重新设置安全协议。 已开启IPv6的实例，实例创建后，不支持修改安全协议。
如何修改message.max.bytes参数？ 在Kafka控制台的“配置参数”页面修改message.max.bytes参数，具体步骤请参见修改Kafka实例配置参数。 message.max.bytes参数最大只能修改为10485760字节，如果您实际的业务场景中单条消息的
如何选择Kafka实例的存储空间？ 存储空间主要是指用于存储消息（包括副本中的消息）、日志和元数据所需要的空间。选择存储空间时，需要选择磁盘类型和磁盘大小。更多磁盘信息，请参考如何选择磁盘类型。 假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB*副本数 +
Kafka实例的SASL_SSL开关如何修改？ 集群实例的SASL_SSL开关支持修改，具体步骤请参考修改实例的接入方式。 单机实例不支持SASL_SSL功能。 开启IPv6的实例不支持动态修改SASL_SSL开关。 父主题： 实例问题
Kafka是否支持Kerberos认证，如何开启认证？ Kafka支持SASL客户端认证、调用接口支持Token和AK/SK两种认证，Kerberos认证目前不支持。 如果使用SASL认证方式，则在开源客户端基础上使用分布式消息服务Kafka版提供的证书文件。具体操作参考使用客户端连接Kafka（开启SASL）。
本章节描述了消息堆积的原因，以及处理措施。 业务过载处理建议 本章节描述了CPU使用率高和磁盘写满的原因，以及处理措施。 业务数据不均衡处理建议 本章节描述了业务数据不均衡的原因，以及处理措施。 配置消息堆积数监控 本章节介绍如何创建消息堆积数超过阈值的告警规则，实现消息堆积数超过阈值时，系
Kafka Manager如何修改Topic的分区Leader？ 在Kafka Manager中修改Topic的分区Leader的步骤如下： 登录Kafka Manager。 选择“Topic > List”，进入Topic列表页面。 单击待修改分区Leader的Topic名称（
消费者每次最多消费max.poll.records条消息，多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费，如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常（如需要写入后端数据库，后端数据库压力太大，慢SQL，时延增加等）导致消费时间增加，在max
Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。 方案架构 Kaf
如何将Kafka实例中的数据同步到另一个Kafka实例中？ Kafka实例支持创建Kafka数据复制类型的Smart Connect任务时，首先开启Smart Connect，然后创建Kafka数据复制类型的Smart Connect任务，实现两个Kafka实例数据的同步，具体步骤请参考创建Smart
ic中消息较少或者没有消息时，连接不断开，所有消费者不间断地拉取消息，这样造成了一定的资源浪费。 图1 Kafka消费者多线程消费模式 解决方案 在开了多个线程同时访问的情况下，如果Topic里已经没有消息了，其实不需要所有的线程都在poll，只需要有一个线程poll各分区的消息
修改Kafka实例Topic 功能介绍 修改Kafka实例Topic 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/instances/{instance_id}/topics 表1 路径参数 参数 是否必选 参数类型 描述 project_id
确保目标Kafka实例Topic的“批处理消息最大值”大于等于524288字节，否则会导致数据无法同步。如果目标Kafka实例没有创建Topic，在数据同步时会自动创建Topic，此Topic的“批处理消息最大值”和源Kafka实例Topic相同，此时需要确保源Kafka实例Topic的“批处理消息最大值”
consumer使用建议 consumer的owner线程需确保不会异常退出，避免客户端无法发起消费请求，阻塞消费。 确保处理完消息后再做消息commit，避免业务消息处理失败，无法重新拉取处理失败的消息。 通常不建议对每条消息都进行commit，如果对每条消息都进行了commit，会导致OFFS
spring-kafka的使用 本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息，如实例连接地址、Topic名称、用户信息等，请参考收集连接信息获取。
关闭Smart Connect（按需实例） 功能介绍 介绍按需实例如何关闭Smart Connect。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/kafka/instances/{instance_id}/delete-connector
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
