检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka实例的ZK地址是什么？ Kafka实例依赖ZK进行管理，开放ZK可能引发误操作导致业务受损，ZK仅Kafka内部使用，不对外提供服务。 您可使用Kafka开源客户端连接Kafka实例，调用原生API生产与消费消息。 父主题： 实例问题
什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Ka
Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。 方案架构 Kafka实例作为Logstash输出源的示意图如下。
Kafka可以删除消费组下不用的Topic吗？ 在Kafka客户端取消订阅该Topic，即可达到在消费组下删除该Topic的效果。 父主题： 消费组问题
c分区之间订阅关系的过程。在Rebalance过程中消费组下的所有消费者都会停止消费，等待Rebalance完成。 可能会触发Rebalance的原因： 消费组成员个数发生变化，例如有新的消费者加入，或者有消费者退出。 消费组订阅的Topic个数发生变化。 消费组订阅的Topic分区数发生变化。
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址，无法登录Kafka Manager，报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内，或者安全组配置不正确，导致网络无法连通。
选择“触发”，即触发告警时发送通知。 接收对象 选择“主题订阅”，单击“创建主题”，进入消息通知服务中，创建主题和添加订阅。创建完成后，返回“创建告警规则”页面，在“通知对象”后单击，然后选择创建的告警通知主题。 说明： 在添加订阅后，对应的订阅终端会收到订阅通知，用户要选择确认订阅，后续才能收到告警信息。 通知周期
考虑某一个消费者的授权和订阅信息，只会根据消费组整体的订阅情况进行分区分配，此种情况下可能会给消费者分配到未授权的Topic，从而导致了上述问题的出现。 例如：消费组中有消费者A、B、C，A订阅并授权Topic 0、Topic 1、Topic 2，B订阅并授权Topic 3、Topic
Manager创建的Topic。 订阅关系：包含消费组名称、消费组状态、Coordinator(ID)和堆积数。 单击消费组名称，跳转到对应消费组的详情页面。 如果一个实例中消费组数量超过10000，则不支持查询Topic的订阅关系。 图1 订阅关系 分区信息：包含分区编号、最小
列表页面。 图2 导航栏 单击待查看消费者连接地址的消费组名称，进入消费组订阅的Topic列表页面。 图3 消费组列表页面 单击待查看消费者连接地址的Topic名称，进入Topic详情页。 图4 消费组订阅的Topic列表页面 在“Consumer Instance Owner”中，查看消费者连接地址。
统/模块，使对方按照约定处理该消息。 消费者（Consumer） 从Topic（消息主题）订阅消息的一方。订阅消息最终目的在于处理消息内容，如日志集成场景中，监控告警平台（消费者）从主题订阅日志消息，识别出告警日志并发送告警消息/邮件。 代理（Broker） 即Kafka集群架构
时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时
与其他云服务的关系 云审计（Cloud Trace Service） 云审计为您提供云服务资源的操作记录，记录内容包括您从管理控制台或者开放API发起的云服务资源操作请求以及每次请求的结果，供您查询、审计和回溯使用。 当前CTS记录的操作，请参考云审计日志。 虚拟私有云（Virtual
Kafka实例采用物理隔离的方式部署，租户独占Kafka实例。 创建Kafka Topic 创建用于存储消息的Topic，供生产者生产消息以及消费者订阅消息。 连接实例 客户端使用内网/公网连接Kafka实例，并生产消费消息。
创建Kafka Topic Topic，即消息主题，用于存储消息，供生产者生产消息以及消费者订阅消息。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动
创建Kafka消费组 消费者是从Topic订阅消息的一方，消费组是由一个或多个消费者组成的。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 图1 消费关系示例图 “auto.create.groups.enable”表示在消费者进入未创建的消费组时，会自动创建此消费组。
参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 请求示例 对消费组group-1所订阅的topic-1进行消息积压诊断预检查 GET https://{endpoint}/v2/{project_id}/kafka/inst
使用客户端连接Kafka（关闭SASL） 本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时，无需进行认证，数据通过明文传输，性能更好。 约束与限制 2020年7月以及之后购买的实例，Kafka实例的每个代理
用户名称。 设置用户权限时，为必选参数。 access_policy 否 String 权限类型。 all：拥有发布、订阅权限; pub：拥有发布权限; sub：拥有订阅权限。 设置用户权限时，为必选参数。 响应参数 状态码：400 表5 响应Body参数 参数 参数类型 描述 error_code
found”为“true”，且Topic未授权任何用户，此时所有的用户都可以订阅/发布此Topic。如果Topic已授权某一个或多个用户，此时只有授权的用户可以订阅/发布此Topic，其他未授权的用户不能订阅/发布此Topic。“allow.everyone.if.no.acl.found”在配置参数中修改。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
