检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云：负责云服务自身的安全，提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。
Connect Smart Connect用于Kafka实例和其他云服务（如OBS）之间的数据同步，或者两个Kafka实例之间的数据同步，实现数据的备份或迁移。 Smart Connect的使用流程为： 开启Smart Connect。 创建Smart Connect任务。 本章节主要介绍如何开启Smart
为什么Kafka实例常常发生Rebalance（重平衡），导致消息拉取失败？ 消费组的Rebalance就是对Topic分区的重新分配。 正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance，这种情况是无法避免的。但是某些特殊情况下，消费者会被服务端认为异常从而被踢出消费组，此时可能会导致消费异常，需要重点关注。
Kafka实例创建Topic失败 可能原因：已创建的Topic，分区数之和达到实例规格的分区数上限。不同规格实例配置的分区数上限不同，具体请参考Kafka单机实例规格和Kafka集群实例规格。 解决方案：对Kafka实例扩容，或者删除不需要的Topic。 父主题： Topic和分区问题
实例版本在控制台和Kafka Manager上显示不一致？ Kafka实例的版本以控制台为准。Kafka Manager使用了开源Kafka 2.2.0的公共信息配置，所以显示的版本是2.2.0，和购买的Kafka实例版本没有关系。 父主题： Kafka Manager问题
版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户，并授予DMS for Kafka的权限，以达到用户之间权限的隔离。
不同场景下的用户需求。如您需要快速了解分布式消息服务Kafka版的具体计费模式对应的具体价格，请参见分布式消息服务Kafka版价格详情。 包年/包月：一种预付费模式，即先付费再使用，按照订单的购买周期进行结算。购买周期越长，享受的折扣越大。一般适用于业务需求量长期稳定的成熟业务。
在分布式消息服务Kafka版提供的原生Kafka SDK中，消费者可以自定义拉取消息的时长，如果需要长时间的拉取消息，只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力，特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所示，
生产消息数不为0，为什么生产速率为0？ 消息生产速率的原始指标数据为每分钟上报一次，但是它的单位为“个/秒”，所以消息生产速率=一分钟内生产的消息数/60，其值向下取整。当一分钟内生产的消息数小于60个时，生产速率会显示为0。 父主题： 监控告警问题
实施步骤 业务数据不均衡的处理措施： 优化业务中Topic的设计，对于数据量特别大的Topic，可对业务数据做进一步的细分，并分配到不同的Topic上。 生产者生产消息时，尽量把消息均衡发送到不同的分区上，确保分区间的数据均衡。 创建Topic时，使分区的Leader副本分散到各个Broker节点中，以保障整体的数据均衡。
Kafka提供基于云监控服务CES的资源和操作监控能力，帮助用户对每个Kafka实例进行自动实时监控、告警和通知操作。用户可以实时掌握实例的各类业务请求、资源占用、流量、连接数和消息积压等关键信息。 关于DMS for Kafka支持的监控指标，以及如何创建监控告警规则等内容，请参见支持的监控指标。 父主题：
er）。 Kafka的主题和分区属于逻辑概念，副本与代理属于物理概念。下图通过消息的生产与消费流向，解释了Kafka的分区、代理与主题间的关系。 图1 Kafka消息流 老化时间 消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。删除的消息，无法被消费。
当您购买了Kafka实例后，可以根据自身的业务需求使用分布式消息服务Kafka版提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过
暂无计划 EOM：End of Marketing，停止该版本的销售。 EOS：End of Service & support，停止该版本的服务，建议您在执行作业时选择最新版本的引擎。在该日期之后，不再提供该软件版本的任何技术服务支持。 父主题： 版本公告
per second），在Kafka场景中，指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能，是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。 表1 Kafka单机实例规格 规格名称 代理个数 单个代理TPS 单个代理分区上限
CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小，如果启用消息压缩，则表示压缩后的最大批处理大小。 如果增加“批处理消息最大值”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch
删除Kafka实例 对于按需计费的Kafka实例，控制台支持删除单个实例，也可批量删除实例。对于包年/包月的Kafka实例，如果不再使用，单击“操作”栏下的“更多 > 退订”，退订成功后，Kafka实例会自动被删除。 删除的实例能否恢复取决于是否开启回收站策略，如果未开启回收站策
扩容/缩容过程中生产消息失败 可能原因：在扩容/缩容代理规格的过程中，代理采用滚动重启的方式进行实例变更。在重启过程中，分区Leader会进行切换，此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID，仍然会向旧分区Leader发送消息，导致生产消息失败。
bytes参数？ 在Kafka控制台的“配置参数”页面修改message.max.bytes参数，具体步骤请参见修改Kafka实例配置参数。 message.max.bytes参数最大只能修改为10485760字节，如果您实际的业务场景中单条消息的大小超过此值，建议使用压缩算法或者业务逻辑做切分。
本文汇总了基于分布式消息服务Kafka版常见应用场景的操作实践，为每个实践提供详细的方案描述和操作指导，帮助用户轻松使用Kafka。 表1 Kafka最佳实践一览表 最佳实践 说明 提高Kafka消息处理效率 本章节提供了生产者和消费者对于消息的使用建议，以提高消息发送和消息消费的效率与可靠性。 优化消费者轮询（Polling）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
