检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分区（Partition） 为了实现水平扩展与高可用，Kafka将Topic划分为多个分区，消息被分布式存储在分区中。 副本（Replica） 消息的备份存储。为了确保消息可靠，Kafka创建Topic时，每个分区会分别从代理中选择1个或多个，对消息进行冗余存储。 Topic的所有消息分布式
使用Smart Connect迁移数据 开启Smart Connect 配置Kafka间的数据复制 配置Kafka数据转储至OBS 管理Smart Connect任务 关闭Smart Connect 父主题： 迁移数据
可能原因：在扩容/缩容代理规格的过程中，代理采用滚动重启的方式进行实例变更。在重启过程中，分区Leader会进行切换，此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID，仍然会向旧分区Leader发送消息，导致生产消息失败。 解决方法：在生产客户端配置重试机制。建议设置retries=Integer
TPS。 测试场景二（同步/异步复制）：相同的实例（超高I/O、3个代理、未开启SASL），不同复制机制的Topic，生产者进程数为3时，测试结果如下： 表4 测试结果 实例规格 是否同步落盘 副本数 分区数 TPS（同步复制） TPS（异步复制） kafka.2u4g.cluster
在弹出的“删除实例”对话框中，输入“DELETE”，单击“确定”，完成删除Kafka实例。 回收站中的Kafka实例删除后，实例中原有的数据将被删除，且没有备份，请谨慎操作。 关闭回收站策略 登录管理控制台。 在管理控制台左上角单击，选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件
无法被消费。 取值范围：1~720 同步复制 表示后端收到生产消息请求并复制给所有副本后，才返回客户端。 开启同步复制后，需要在生产者客户端的配置文件或者生产代码中配置acks=all或者-1，否则无效。 当副本数为1时，不能选择同步复制功能。 同步落盘 表示生产的每条消息都会立
消息的最长保留时间，修改方法请参见修改Kafka消息老化时间。 副本数 Topic每个分区的副本数量，修改方法请参见修改Kafka Topic副本数。 同步复制 后端收到生产消息请求并复制给所有副本后，才返回客户端。 同步落盘 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。
迁移数据 Kafka数据迁移概述 使用Smart Connect迁移数据
实例使用类接口 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询Kafka实例所有消费组对应的协调器信息 查询Kafka实例Topic详细信息 新增Kafka实例指定Topic分区
查看Kafka监控数据 云监控对Kafka实例的运行状态进行日常监控，可以通过控制台直观的查看Kafka实例各项监控指标和关键指标的Top数据。 前提条件 已创建Kafka实例，且实例中有可消费的消息。 查看Kafka监控数据 登录管理控制台。 在管理控制台左上角单击，选择Kafka实例所在的区域。
单击“Go to topic view”，进入Topic详情页面。 单击“Reassign Partitions”，保存对Topic分区Leader的修改。 保存成功后，返回如下图所示信息。 在导航栏单击Topic名称，进入Topic详情页面，查看分区详情。 如上图所示，分区2的Leader已经从2改为1。
Kafka会自动在每个副本上备份数据，当其中一个Broker故障时数据依然是可用的，副本数越大可靠性越高。 输入“3”。 老化时间（小时） 消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。删除的消息，无法被消费。 输入“72”。 同步复制 选择“不开启”，即Le
0 Kafka实例的Smart Connect任务 1分钟 使用Smart Connect监控指标时，请注意如下几点： Kafka双向数据复制的Smart Connect任务在监控中会被拆分为2个任务，分别为“Smart Connect任务名_source_0”和“Smart C
topic名称，不支持修改。 retention_time 否 Integer 老化时间，单位小时。 sync_replication 否 Boolean 是否同步复制。 sync_message_flush 否 Boolean 是否同步落盘。 new_partition_numbers 否 Integer
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实
查询Kafka集群元数据信息 功能介绍 查询Kafka集群元数据信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/management/cluster 表1 路径参数 参数 是否必选 参数类型
查询Kafka集群元数据信息 当前页面API为历史版本API，未来可能停止维护。请使用查询Kafka集群元数据信息。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/cluster 参数说明如下表所示。 表1 参数说明
direction 否 String 同步方向；pull为把对端Kafka实例数据复制到当前Kafka实例中，push为把当前Kafka实例数据复制到对端Kafka实例中，two-way为对两端Kafka实例数据进行双向复制。（仅源端类型为Kafka时需要填写） sync_consumer_offsets_enabled
broker-0的CPU使用率（异步复制） CPU消耗=86.70% 图20 broker-0的CPU使用率（同步复制） CPU消耗=60% 图21 broker-1的CPU使用率（异步复制） CPU消耗=80.60% 图22 broker-1的CPU使用率（同步复制） CPU消耗=55.20%
云监控无法展示Kafka监控数据 Topic监控数据无法展示，可能原因如下： Topic名称开头包含特殊字符，例如#号“#”。 Kafka实例中没有创建Topic。 解决方法如下： 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示，可能原因如下： 消费组名称开头包含特殊字符，例如#号“#”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
