如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
使用MirrorMaker跨集群同步数据 方案概述 应用场景 在以下场景，使用MirrorMaker进行不同集群间的数据同步，可以确保Kafka集群的可用性和可靠性。 备份和容灾：企业存在多个数据中心，为了防止其中一个数据中心出现问题，导致业务不可用，会将集群数据同步备份在多个不同的数据中心。
到某个操作、资源和条件，能够满足企业对权限最小化的安全管控要求。 DMS for Kafka系统策略说明请参考权限管理。 如果您要允许或是禁止某个接口的操作权限，请使用策略。 账号具备所有接口的调用权限，如果使用账号下的IAM用户发起API请求时，该IAM用户必须具备调用该接口所
为什么Kafka实例常常发生Rebalance（重平衡），导致消息拉取失败？ 消费组的Rebalance就是对Topic分区的重新分配。 正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance，这种情况是无法避免的。但是某些特殊情况下，消费者会被服务端认为异常
如何查看堆积消息数？ 通过以下任意一种方法，查看堆积消息数。 在Kafka控制台的“消费组管理”页面，单击待查看堆积消息的消费组名称，进入消费组详情页。在“消费进度”页签，查看消费组中每个Topic的总堆积数。具体步骤，请参考查看消费进度。 在Kafka控制台的“监控与告警 >
使用客户端连接Kafka（关闭SASL） 本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时，无需进行认证，数据通过明文传输，性能更好。 约束与限制 2020年7月以及之后购买的实例，Kafka实例的每个代理
消息从生产到消费时延高达6分钟 问题现象 消息从生产到消费的端到端时延偶现到达6分钟，业务对消息时延较为敏感。 分析过程 怀疑是业务堆积，处理慢导致时延。 通过查看监控数据，发现业务请求并不是很多，堆积最多时也只有50条消息，同时每秒新增消息只有10条左右，应该还没有到达处理极限。
使用客户端连接Kafka（开启SASL） 本章节介绍如何使用开源的Kafka客户端访问开启密文接入的Kafka实例的方法。密文接入表示客户端访问Kafka实例时，需要进行SASL认证。如果Kafka安全协议为“SASL_SSL”，客户端和Kafka实例进行通信时，数据使用加密传输，安全性更高。
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章
快速连接Kafka并生产消费消息 本章节将为您介绍分布式消息服务Kafka版入门的使用流程，以创建一个开启密文接入、安全协议为SASL_SSL的Kafka实例，客户端使用内网通过同一个VPC连接Kafka实例生产消费消息为例，帮助您快速上手Kafka。 图1 Kafka使用流程 准备工作
删除Kafka Topic 本章节指导您删除Topic，请根据实际情况选择以下任意一种方式： 删除Kafka Topic（控制台） 删除Kafka Topic（Kafka客户端） 约束与限制 删除Topic会导致Topic中的数据也被删除，并且无法找回，同时会影响使用该Topic的相关业务。
使用前必读 欢迎使用分布式消息服务Kafka版。分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用分布式消息服务Kafka版，资源按需申请，按需配置Topic的分区与副本数量，即买即用，您将有
查看Kafka消费组信息 消费组创建成功后，可查看消费组配置信息和状态信息。 查看消费组列表（控制台） 登录管理控制台。 在管理控制台左上角单击，选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入Kafka总览页面。
创建Kafka Topic Topic，即消息主题，用于存储消息，供生产者生产消息以及消费者订阅消息。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动
创建Kafka实例 当前页面API为历史版本API，未来可能停止维护。请使用创建实例。 功能介绍 创建实例，该接口创建的实例为按需计费的方式。 URI POST /v1.0/{project_id}/instances 参数说明见表1。 表1 参数说明 参数 类型 必选 说明 project_id
Go 本文以Linux CentOS环境为例，介绍Go 1.16.5版本的Kafka客户端连接指导，包括demo代码库的获取，以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 执行以下命令，检查是否已安装Go。 go version 返回如下回显时，说明Go已经安装。
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区，消息被分布式存储在分区中。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就
构造请求 本节介绍REST API请求的组成，并以调用IAM服务的管理员创建IAM用户来说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987。 请求URI 请求URI由如下部分组成。
成长地图 | 华为云 分布式消息服务Kafka版 分布式消息服务Kafka版（Distributed Message Service for Kafka）是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 免费体验 图说Kafka
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
