检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
造成服务中断，但可能会导致消费的分区消息发生乱序，请谨慎评估业务影响，建议您在业务低峰期扩容/缩容。 扩容/缩容代理规格的过程中，节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制。
客户端连接Kafka实例前，需要在Kafka实例所属安全组中配置如下安全组规则，否则会连接失败。 创建安全组后，系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问Kafka实例，无需添加表2的规则。 表2 安全组规则 方向
为什么Kafka实例常常发生Rebalance（重平衡），导致消息拉取失败？ 为什么Console页面上，消息查询查不到消息？ Kafka消息堆积了怎么办？ 消息超过老化时间，消息仍存在的原因 Kafka实例是否支持延迟消息？ 如何查看堆积消息数？ 为什么消息创建时间显示1970？ 如何修改message
监控告警问题 云监控无法展示Kafka监控数据 Kafka监控显示消息堆积数跟实例里的消息数不一致？ Kafka的消费组删除了，怎么监控页面还可以看到这个消费组？ 为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动？ 为什么JVM堆内存使用率出现明显波动？ 生产消息数不为0，为什么生产速率为0？
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章
实例使用类接口 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询Kafka实例所有消费组对应的协调器信息 查询Kafka实例Topic详细信息 新增Kafka实例指定Topic分区
Kafka客户端所在的IP地址或地址组 使用内网通过同一个VPC访问Kafka实例（开启SSL加密）。 创建安全组后，系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问Kafka实例，无需添加表2的规则。 开启IPv4公网访问（支持修改明文/密文接入）
的策略内容。 具体创建步骤请参见：创建自定义策略。下面为您介绍常用的DMS for Kafka自定义策略样例。 示例1：授权用户删除实例和重启实例 { "Version": "1.1", "Statement": [ { "Effect":
为什么云监控页面无法展示Kafka监控数据？ 为什么限制Topic的总分区数？ Kafka实例的Topic数量是否有限制 Kafka消息堆积了怎么办？ Kafka实例的ZK地址是什么？能否直接连接？ 为什么Console页面上，消息查询查不到消息？ 为什么实例可用区不能选择2个？ 更多
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器（区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致，Linux系统），具体步骤请参考购买弹性云服务器。 购买完成ECS后，需要在ECS中完成以下配置： 安装Java JDK，并配置JAVA_HOME与PATH环境变量。
Failed 未满足前提条件，服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息。
查询Kafka实例的协调器信息 功能介绍 查询Kafka实例的协调器信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/management/coordinators 表1 路径参数 参数 是否必选
请求什么类型的操作。 GET：请求服务器返回指定资源。 PUT：请求服务器更新指定资源。 POST：请求服务器新增资源或执行特殊操作。 DELETE：请求服务器删除指定资源，如删除对象等。 HEAD：请求服务器资源头部。 PATCH：请求服务器更新资源的部分内容。当资源不存在的时
Kafka服务和ZK是部署在相同的虚拟机中，还是分开部署？ Kafka服务和ZK部署在相同的虚拟机中。 父主题： 实例问题
查询Kafka实例所有消费组对应的协调器信息 当前页面API为历史版本API，未来可能停止维护。请使用查询Kafka实例的协调器信息。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/coordinators 参数说明如下表所示。
扩容失败提示资源不足 问题现象：扩容失败，提示底层ECS/EVS资源不足，但在ECS控制台可以购买对应规格的ECS。 可能原因：底层资源配额与控制台界面显示的可用规格配额存在差异。 解决方法：联系客服增加配额数。 父主题： 实例规格变更问题
消息/邮件。 代理（Broker） 即Kafka集群架构设计中的单个Kafka进程，一个Kafka进程对应一台服务器，因此手册中描述的代理，还包括对应的存储、带宽等服务器资源。 分区（Partition） 为了实现水平扩展与高可用，Kafka将Topic划分为多个分区，消息被分布式存储在分区中。
企业项目ID。 is_logical_volume Boolean 实例扩容时用于区分老实例与新实例。 true：新创建的实例，允许磁盘动态扩容不需要重启。 false：老实例。 extend_times Integer 实例扩容磁盘次数，如果超过20次则无法扩容磁盘。 enable_auto_topic
客户端网络环境说明 客户端可以通过以下方式访问Kafka实例： 如果客户端是云上ECS，与Kafka实例处于同region同VPC，则可以直接访问Kafka实例提供的内网连接地址。 如果客户端是云上ECS，与Kafka实例处于相同region但不同VPC，通过以下任意一种方式访问。
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
