检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
此参数才对此Topic生效。 1 ~ 168 单位：小时 72 max.connections.per.ip 每个IP允许的最大连接数。超过此连接数的连接请求将被丢弃。 100 ~ 20000 1000 group.max.session.timeout.ms consumer
/O的实例。 表1 Kafka单机实例规格 规格名称 代理个数 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围 单个代理流量规格（MB/s） kafka.2u4g.single.small 1 20000 100 15 2000 100GB~10000GB
修改Kafka Topic分区数 创建Kafka实例Topic成功之后，您可以根据业务需要修改Topic的分区数。修改分区数，不会重启实例，不会影响业务。 修改Topic分区数的方法如下： 在控制台修改Topic分区数 在Kafka Manager修改Topic分区数 在客户端修改Topic分区数
创建方式：支持选择是否开启Kafka自动创建Topic的开关。选择开启后，表示向一个未创建的Topic生产或消费消息时，系统会自动创建此Topic。 其他建议 连接数限制：3000 消息大小：不能超过10MB 使用SASL_SSL协议访问Kafka：确保DNS具有反向解析能力，或者在hosts文件配置K
单机实例不支持修改代理规格。 修改VPC/子网/可用区 实例创建后，不支持修改VPC/子网/可用区。 是否支持Kerberos认证 不支持 客户端单IP连接数 2020年7月以及之后购买的实例，Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个，在此之前购买的实例，Kafka实例
如何查看堆积消息数？ 通过以下任意一种方法，查看堆积消息数。 在Kafka控制台的“消费组管理”页面，单击待查看堆积消息的消费组名称，进入消费组详情页。在“消费进度”页签，查看消费组中每个Topic的总堆积数。具体步骤，请参考查看消费进度。 在Kafka控制台的“监控与告警 >
从Topic（消息主题）订阅消息的一方。订阅消息最终目的在于处理消息内容，如日志集成场景中，监控告警平台（消费者）从主题订阅日志消息，识别出告警日志并发送告警消息/邮件。 代理（Broker） 即Kafka集群架构设计中的单个Kafka进程，一个Kafka进程对应一台服务器，因此手册中描述
collides with existing topics: topic_1。 分区数 Topic的分区数。 如果分区数与消费者数一致，分区数越大消费的并发度越大。 该参数设置为1时，消费消息时会按照先入先出的顺序进行消费。 取值范围：1~200 副本数 您可以为每个Topic设置副本的数量，
结合实际业务调整 设置一个请求最大等待时间（单位为ms），超过这个时间则会抛Timeout异常。 超时时间如果设置大一些，如127000（127秒），高并发的场景中，能减少发送失败的情况。 block.on.buffer.full TRUE TRUE TRUE表示当我们内存用尽时，停止接收新消息记录或者抛出错误。
topic名称。 replication Integer 副本数，配置数据的可靠性。 partition Integer topic分区数，设置消费的并发数。 retention_time Integer 消息老化时间。 sync_replication Boolean 是否开启同步复制，开
成长地图 | 华为云 分布式消息服务Kafka版 分布式消息服务Kafka版（Distributed Message Service for Kafka）是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 免费体验 图说Kafka
__connect-offsets 创建Topic后不能修改名称。 输入“topic-01”。 分区数 如果分区数与消费者数一致，分区数越大消费的并发度越大。 输入“3”。 副本数 Kafka会自动在每个副本上备份数据，当其中一个Broker故障时数据依然是可用的，副本数越大可靠性越高。
业务过载处理建议 方案概述 Kafka业务过载，一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时，系统的运行速度会降低，并有加速硬件损坏的风险。 当磁盘写满时，相应磁盘上的Kafka日志目录会出现offline问题。此时，该磁盘上的分区副本不可读写，降低了分区的可
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实
Boolean 是否使用同步落盘。默认值为false。同步落盘会导致性能降低。 partition 否 Integer topic分区数，设置消费的并发数。取值范围：1-200。 sync_replication 否 Boolean 是否开启同步复制，开启后，客户端生产消息时相应的也要设置acks=-1，否则不生效，默认关闭。
系统策略 无 DMS KMSAccess 分布式消息服务租户委托时需要授权的KMS操作权限。 系统策略 无 DMS ELBAccess 分布式消息服务租户委托时需要授权的ELB操作权限。 系统策略 无 DMS VPCEndpointAccess 分布式消息服务租户委托时需要授权的VPCEndpoint操作权限。
配置Kafka监控告警 本章节主要介绍部分监控指标的告警策略，以及配置操作。在实际业务中，建议按照以下告警策略，配置监控指标的告警规则。 表1 Kafka实例的告警策略和处理建议 指标ID 指标名称 测量对象 告警策略 指标说明 告警处理建议 broker_disk_usage 磁盘容量使用率
配置Kafka间的数据复制 本章节介绍如何创建Kafka数据复制的Smart Connect任务，通过Smart Connect任务可以在两个Kafka实例之间，实现数据的单向或双向复制。 源Kafka实例中的数据会实时同步到目标Kafka实例中。 约束与限制 单机实例不支持创建Kafka数据复制的Smart
测试Kafka实例TPS 通过以下几个场景，测试不同实例规格的TPS。 测试场景一（实例是否开启SASL）：相同的Topic，实例分为开启SASL和未开启SASL 测试场景二（同步/异步复制）：相同的实例，不同复制机制的Topic 测试场景三（是否同步落盘）：相同的实例，不同落盘机制的Topic
Kafka扩容/缩容会影响业务吗？ 扩容/缩容Kafka实例的影响如表1所示。 表1 变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理，业务也不受影响。 扩容基准带宽/代理数量时，系统会根据当前磁盘大小进行相应比例的存储空间扩容
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
