检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问Kafka Manager Kafka Manager是开源的Kafka集群管理工具,需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面,您可以查看Kafka集群的监控、代理等信息。 2023年5月17日及以后创建的实例不提供Kafka Manager
配置Kafka流控 Kafka支持对用户/客户端/Topic配置流量控制,控制生产/消费消息的上限速率。 用户/客户端的流控作用范围是整个Broker,Topic的流控作用范围是指定Topic。 2022年11月10日及以后创建的实例支持此功能。 单机实例不支持配置流控。 操作影响
API概览 表1 实例管理类接口 API 说明 生命周期管理 包括创建实例、查询所有实例列表、查询指定实例、删除指定的实例、修改实例信息、批量重启或删除实例、获取实例配置、修改实例配置、实例升级。 实例管理 包括重置密码、重置Manager密码、重启Manager、开启或关闭实例自动创建
修改Kafka Topic副本数 创建Kafka实例Topic成功之后,您可以根据业务需要修改Topic的副本数。 通过修改分区平衡可以实现修改副本数,Kafka控制台提供两种修改副本数的方法:使用自动平衡修改副本数和使用手动平衡修改副本数。 单机实例不支持修改副本数。 操作影响
查询分区指定时间段的消息 当前页面API为历史版本API,未来可能停止维护。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/topics/{topic}/messages?partition={partition
查看Kafka消费者信息 如果消费组中存在正在连接Kafka实例的消费者,可查看消费组中该消费者的连接信息。 在Kafka Manager中查看消费者连接地址须知 Kafka Manager由于缓存原因,显示的消费者连接地址可能不是当前消费者连接地址,建议重启Kafka Manager
修改Kafka分区平衡 分区平衡是指将分区的副本重新分配到不同的代理上,解决代理负载不均衡问题。 需要进行分区平衡的场景如下: 实例扩容代理个数后,新创建的Topic才会分布在新代理上,原有Topic还分布在原有代理上,造成分区分布不均衡。通过修改分区平衡,将原有Topic分区的副本迁移到新代理上
权限和授权项 如果您需要对您所拥有的Kafka实例进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用Kafka实例的其它功能
修订记录 发布日期 修订记录 2024-06-04 本次变更如下: 新增诊断管理相关接口。 2024-03-06 本次变更如下: 新增Smart Connect相关接口。 将转储相关接口移动至历史API。 2024-02-26 本次变更如下: 新增生产消息接口。 2023-11-10
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节主要介绍
实例升级 功能介绍 实例内核升级 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/kafka/instances/{instance_id}/upgrade 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
主题管理 Kafka生产消息 Kafka实例创建Topic Kafka实例查询Topic 修改Kafka实例Topic Kafka实例批量删除Topic 查询Topic的分区列表 查询Topic的当前生产者列表 查询Kafka实例Topic详细信息 父主题: API V2(推荐)
API V2 查询产品规格列表 新增Kafka实例指定Topic分区 重置消费组消费进度到指定位置 修改转储任务的配额 创建关闭实例转储节点的订单 创建转储任务 查询转储任务列表 查询单个转储任务 删除单个转储任务 父主题: 历史API
查看Kafka生产消费示例代码 分布式消息服务Kafka版支持在控制台查看Java、Go和Python语言的生产消费消息示例代码,您可以参考示例代码快速完成Kafka客户端的集成,并进行消息的生产和消费。 查看Kafka生产消费示例代码 登录管理控制台。 在管理控制台左上角单击,选择区域
升级Kafka实例内核版本 升级Kafka实例内核版本指的是将老的内核版本升级到最新的内核版本,升级后,Kafka实例将支持一些新的特性(例如支持在控制台创建消费组、支持查看Topic详情等),并且修复老版本的一些问题。 升级Kafka实例内核版本并非升级Kafka实例的版本,例如升级前
快速连接Kafka并生产消费消息 本章节将为您介绍分布式消息服务Kafka版入门的使用流程,以创建一个开启密文接入、安全协议为SASL_SSL的Kafka实例,客户端使用内网通过同一个VPC连接Kafka实例生产消费消息为例,帮助您快速上手Kafka。 图1 Kafka使用流程 准备工作
管理Smart Connect任务 在创建Smart Connect任务后,可以在控制台对任务进行管理操作,包括查看任务、删除任务、启动/暂停任务、重启任务等。 单机实例不支持管理Smart Connect任务。 前提条件 已创建Smart Connect任务。 查看Smart Connect
删除Kafka消息 本章节介绍如何在控制台删除Topic中存储的消息。 删除Kafka消息须知 消息删除后无法恢复,请谨慎操作。 前提条件 删除消息前,请先在消费代码中设置“auto.offset.reset”参数。“auto.offset.reset”用来指定当Kafka中没有初始偏移量或者当前偏移量不存在
使用控制台连接Kafka 本章节介绍Kafka实例如何在控制台生产消息。此功能通过将指定消息发送给Kafka实例,验证业务逻辑是否正常。 前提条件 仅在实例的“状态”为“运行中”时,才可以在Topic中生产消息。 已创建Topic。 在控制台生产消息 登录管理控制台。 在管理控制台左上角单击
测试Kafka实例TPS 通过以下几个场景,测试不同实例规格的TPS。 测试场景一(实例是否开启SASL):相同的Topic,实例分为开启SASL和未开启SASL 测试场景二(同步/异步复制):相同的实例,不同复制机制的Topic 测试场景三(是否同步落盘):相同的实例,不同落盘机制的