检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
10:30:00将Kafka实例转为包年/包月计费，购买时长为1个月。那么在3~4月份，该Kafka实例总共产生多少费用呢？ 计费构成分析 可以将Kafka实例的使用阶段按照计费模式分为两段：在2023/03/18 15:30:00 ~ 2023/03/20 10:30:00期间为按需计费，2023/03/20
除。其次，可以考虑加快消费速度，例如增加组内消费者数量等。 topic_messages_remained 队列可消费消息数 消费组 告警阈值：原始值>积压上限的90%，积压上限由您根据业务实际情况设定 连续触发次数：1 告警级别：重要 该指标用于统计消费组指定队列可以消费的消息个数。
在“实例信息”区域的“Kafka自动创建Topic”后，单击或，弹出“确认”对话框。 单击“确认”，完成“Kafka自动创建Topic”的开启/关闭。 您可以在“后台任务管理”页面，查看开启/关闭任务的执行状态。 父主题： Topic管理
ic进行分区平衡前，根据Kafka实例规格对比当前实例负载情况，评估是否可以进行分区平衡，建议预留足够的带宽进行分区平衡，CPU使用率在90%以上时，不建议进行分区平衡。Topic的数据量和CPU使用率可以通过监控页面的“队列数据容量”和“CPU使用率”查看，具体步骤请参考查看Kafka监控数据。
Topic分区设置不合理，或新增分区无消费者消费。 Topic频繁重平衡导致消费效率降低。 实施步骤 从消息堆积的原因看，消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求，合理增加消费者个数（消费并发度），确保分区数/消费者数=整数，建议消费者数和分区数保持一致。
2023年4月6日前创建的实例，不支持重平衡日志功能。 单机实例不支持查看重平衡日志。 重平衡日志默认存储时间为七天，如果需要延长保留天数，可以在LTS控制台修改日志组的存储时间。 重平衡日志开启后会在LTS控制台创建对应的日志组、日志流和仪表盘。使用期间按照日志量收费，收费标准请参照LTS价格详情。
均衡。 创建Topic时，使分区的Leader副本分散到各个Broker节点中，以保障整体的数据均衡。 Kafka提供了分区重平衡的功能，可以把分区的副本重新分配到不同的Broker节点上，解决节点间负载不均衡的问题。具体分区重平衡的操作请参考修改分区平衡。
s，请设置2个以上的代理数。 确认“Smart Connect”为开启状态，单击“提交”。 后续操作 开启Smart Connect后，您可以配置Kafka间的数据复制、配置Kafka数据转储至OBS，实现分布式消息服务Kafka版和其他云服务之间的数据同步。 父主题： 使用Smart
储空间费用。 适用场景 适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。对于长期使用者，推荐该方式。 适用于资源需求波动的场景，可以随时开通，随时删除。 父主题： 计费模式
支持 消息追踪 支持 不支持 3.8.35版本：不支持。 AMQP-0-9-1版本：支持。 消息过滤 支持 支持 3.8.35版本：不支持，但可以自行封装。 AMQP-0-9-1版本：支持。 多租户 支持 支持 支持 多协议支持 兼容RocketMQ协议。 只支持Kafka自定义协议。
理大小。 如果增加“批处理消息最大值”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch size”值也必须增加，以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。 约束与限制 开启同步复制后，需要在客户端配置acks=all或者-1，否则无效。 修改Topic配置
长度为1~128个字符（中文也可以输入128个字符）。 由任意语种字母、数字、空格和字符组成，字符仅支持_ . : = + - @ 不能以_sys_开头。 首尾字符不能为空格。 value String 标签值。 长度为0~255个字符（中文也可以输入255个字符）。 由任意语种
balance的场景下消费者下游系统是否正常。 解决方法：建议在消费者客户端将max.poll.records值减小，如果消息处理时间较长可以适当增加max.poll.interval.ms。 父主题： 消息问题
批处理消息最大值 10485760字节 10485760字节 10485760字节 本文主要介绍手动创建Topic的操作，有以下几种方式，您可以根据实际情况选择任意一种方式： 在控制台创建Topic 在Kafka Manager创建Topic 在客户端创建Topic 约束与限制 K
可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异，存在少量重复消费问题。此场景适用于生产端不可停止，端到端有时延要求，但是可以兼容少量重复消费的业务。 创建Kafka数据复制的Smart Connect任务，用于同步两个Kafka的消息。具体步骤请参见配置Kafka间的数据复制。
Logstash从数据库采集数据，然后发送到Kafka实例中进行存储。Kafka实例作为Logstash输出源时，由于Kafka的高吞吐量，可以存储大量数据。 Kafka实例作为Logstash输入源的示意图如下。 图2 Kafka实例作为Logstash输入源 日志采集客户端将数
Manager功能，不支持在Kafka Manager中查看消费者连接地址。 前提条件 消费组中的消费者处于连接Kafka实例时（即消费组状态为“STABLE”），才可以查看消费者列表和消费者连接地址。 查看消费者列表（控制台） 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。
参考如下配置安全组规则。 假设客户端和Kafka实例的安全组分别为：sg-53d4、Default_All。以下规则，远端可使用安全组，也可以使用具体的IP地址，本章节以安全组为例介绍。 客户端所在安全组需要增加如下规则，以保证客户端能正常访问Kafka实例。 表2 安全组规则 方向
长度为1~128个字符（中文也可以输入128个字符）。 由任意语种字母、数字、空格和字符组成，字符仅支持_ . : = + - @ 不能以_sys_开头。 首尾字符不能为空格。 value 否 String 标签值。 长度为0~255个字符（中文也可以输入255个字符）。 由任意语
生产消息配置文件（对应生产消息代码中的dms.sdk.producer.properties文件） 以下粗体部分为不同Kafka实例特有的信息，必须修改。客户端其他参数，可以自主添加。 #Topic名称在具体的生产与消费代码中。 ####################### #Kafka实例的broker信息
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
