检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka实例查询Topic 当前页面API为历史版本API，未来可能停止维护。请使用Kafka实例查询Topic。 功能介绍 该接口用于查询指定Kafka实例的Topic详情。 URI GET /v1.0/{project_id}/instances/{instance_id}/
创建Kafka Topic Topic，即消息主题，用于存储消息，供生产者生产消息以及消费者订阅消息。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动创建
Go 本文以Linux CentOS环境为例，介绍Go 1.16.5版本的Kafka客户端连接指导，包括demo代码库的获取，以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 执行以下命令，检查是否已安装Go。 go version 返回如下回显时
Kafka实例创建Topic 当前页面API为历史版本API，未来可能停止维护。请使用Kafka实例创建Topic。 功能介绍 该接口用于向Kafka实例创建Topic。 URI POST /v1.0/{project_id}/instances/{instance_id}/topics
Java客户端接入示例 本文介绍Maven方式引入Kafka客户端，并完成Kafka实例连接以及消息生产与消费的相关示例。如果您需要在IDE中查看Demo具体表现，请查看Java开发环境搭建。 下文所有Kafka的配置信息，如实例连接地址、Topic名称、用户信息等，请参考收集连接信息获取
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区，消息被分布式存储在分区中。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息
删除Kafka消息 本章节介绍如何在控制台删除Topic中存储的消息。 约束与限制 消息删除后无法恢复，请谨慎操作。 前提条件 删除消息前，请先在消费代码中设置“auto.offset.reset”参数。“auto.offset.reset”用来指定当Kafka中没有初始偏移量或者当前偏移量不存在
查询所有消费组 功能介绍 查询所有消费组。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/groups 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
创建Kafka消费组 消费者是从Topic订阅消息的一方，消费组是由一个或多个消费者组成的。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 图1 消费关系示例图 “auto.create.groups.enable”表示在消费者进入未创建的消费组时
约束与限制 本章节介绍分布式消息服务Kafka版产品功能的约束和限制，您在使用Kafka实例时注意不要超过相应的约束和限制，以免程序出现异常。 如果因为您的实例配置超过相应的约束和限制而导致的任何不稳定情况，不在SLA承诺和赔偿范围内。 实例 表1 实例约束与限制 限制项 约束与限制
修改Kafka实例配置参数 分布式消息服务Kafka版为实例、Topic、消费者提供了几个常用配置参数的默认值，您可以根据实际业务需求，在控制台自行修改参数值。其他在控制台未列出的配置参数，请参考Kafka配置进行修改。 Kafka实例的参数分为动态参数和静态参数： 动态参数：动态参数修改成功后
Kafka客户端使用建议 consumer使用建议 consumer的owner线程需确保不会异常退出，避免客户端无法发起消费请求，阻塞消费。 确保处理完消息后再做消息commit，避免业务消息处理失败，无法重新拉取处理失败的消息。 通常不建议对每条消息都进行commit，如果对每条消息都进行了
查询消费组信息 功能介绍 查询消费组信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/management/groups/{group} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
配置Kafka实例的明文/密文接入 您可以通过明文接入Kafka实例，也可以通过密文接入Kafka实例，本章节指导您在控制台修改接入方式。 明文接入：表示客户端连接Kafka实例时，无需进行SASL认证。 密文接入：表示客户端连接Kafka实例时，需要进行SASL认证。 约束与限制
删除单个转储任务 功能介绍 删除单个转储任务。 当前页面API为历史版本API，未来可能停止维护。请使用删除Smart Connector任务。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/connectors/{connector_id
修改转储任务的配额 功能介绍 修改转储任务的配额。 2022年9月前创建的实例支持调用此接口新增转储任务配额，2022年9月及以后创建的实例，转储任务配额默认为最大值，由于转储任务配额不支持减少，调用此接口修改转储任务配额会报错。 调用方法 请参见如何调用API。 URI PUT
查询转储任务列表 功能介绍 查询转储任务列表。 当前页面API为历史版本API，未来可能停止维护。请使用查询Smart Connect任务列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/connectors/{connector_id}/
查看Kafka重平衡日志 Rebalance是重新分配消息组中的消费者和Topic分区之间订阅关系的过程。在Rebalance过程中消费组下的所有消费者都会停止消费，等待Rebalance完成。 可能会触发Rebalance的原因： 消费组成员个数发生变化，例如有新的消费者加入，或者有消费者退出
构造请求 本节介绍REST API请求的组成，并以调用IAM服务的管理员创建IAM用户来说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987。 请求URI 请求URI由如下部分组成
访问Kafka Manager Kafka Manager是开源的Kafka集群管理工具，需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面，您可以查看Kafka集群的监控、代理等信息。 2023年5月17日及以后创建的实例不提供Kafka Manager
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
