正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sync_replication Boolean 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效,默认关闭。 sync_message_flush Boolean 是否使用同步落盘。默认值为false。同步落盘会导致性能降低。 external_configs
中选择1个或多个,对消息进行冗余存储。 Topic的所有消息分布式存储在各个分区上,分区在每个副本存储一份全量数据,副本之间的消息数据保持同步,任何一个副本不可用,数据都不会丢失。 每个分区都随机挑选一个副本作为Leader,该分区所有消息的生产与消费都在Leader副本上完成,
创建一台与Kafka实例相同VPC和相同安全组的Windows服务器,详细步骤请参考购买并登录Windows弹性云服务器。 如果是已经开启了公网访问,该步骤为可选,在本地浏览器中即可访问,不需要单独的Windows弹性云服务器。 在实例详情信息页面,获取Kafka Manager地址。
购买时长 请参见分布式消息服务Kafka版价格详情中的“实例价格”。 存储空间费用 存储空间单价 * 购买时长 请参见分布式消息服务Kafka版价格详情中的“存储价格”。 图2给出了上述示例配置的费用计算过程。 图中价格仅供参考,实际计算请以分布式消息服务Kafka版价格详情中的价格为准。
购买时长 请参见分布式消息服务Kafka版价格详情中的“实例价格”。 存储空间费用 存储空间单价 * 购买时长 请参见分布式消息服务Kafka版价格详情中的“存储价格”。 图2给出了上述示例配置的费用计算过程。 图中价格仅供参考,实际计算请以分布式消息服务Kafka版价格详情中的价格为准。
xx.xx.127:9095,10.xx.xx.103:9095”。 执行完命令后,输入需要生产的消息内容,按“Enter”发送消息到Kafka实例,输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecs-kafka bin]#./kafka-console-producer
推荐值 说明 auto.commit.enable TRUE FALSE 如果为真,consumer所fetch的消息的offset将会自动的同步到zookeeper。这项提交的offset将在进程无法提供服务时,由新的consumer使用。 约束: 设置为false后,需要先成功消费再提交,这样可以避免消息丢失。
建议Topic配置多副本,获得异常场景数据快速恢复能力。 Kafka实例支持配置Topic副本数量,配置多副本后Kafka实例会主动建立和维护同步复制,在实例某个broker故障的情况下,实例会自动将该节点上分区leader切换到其它可用的broker上,从而达到高可用的目的。 建议使用多个可用区构建数据容灾能力。
消费者更新元数据。 PROTOCOL_CHANGE:协议变化。 HEARTBEAT_EXPIRED:消费者心跳超时。 SYNC_GROUP:同步分配计划。 END_REBALANCE:重平衡结束。 LEAVE_GROUP:消费者主动离开消费组。 group 消费组中消费者的信息。 关闭重平衡日志
则消息将被删除。删除的消息,无法被消费。 输入“72”。 同步复制 选择“不开启”,即Leader副本接收到消息并成功写入到本地日志后,就马上向客户端发送写入成功的消息,不需要等待所有Follower副本复制完成。 同步落盘 选择“不开启”,即生产的消息存在内存中,不会立即写入磁盘。
诊断Kafka消息积压 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 分布式消息服务Kafka版在控制台提供了消息积压诊断功能,如果消息存在堆积,诊断
监控详情”页面的“消费组”页签中,“消费组”选择待查看堆积消息数的消费组名称,“主题”选择“全部Topic”,“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤,请参考查看Kafka监控数据。 在云监控页面的“消费组”页签中,“消费组”选择待查看堆积消息数的消费组名称,“主题
版本公告 版本支持公告 版本发布说明
管理消息 查看Kafka消息 修改Kafka消息老化时间 删除Kafka消息 诊断Kafka消息积压
查询分区最早消息的位置 功能介绍 查询分区最早消息的位置。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/management/topics/{topic}/partitions/{partit
消费者消费时间间隔过长。 消费者每次最多消费max.poll.records条消息,多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费,如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常(如需要写入后端数据库,后端数据库压力太大
查询分区最新消息的位置 功能介绍 查询分区最新消息的位置。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/management/topics/{topic}/partitions/{partition}/end-message
描述 key String 消息的key。 value String 消息内容。 topic String Topic名称。 partition Integer 分区编号。 message_offset Long 消息位置。 size Integer 消息大小,单位字节。 timestamp
在Logstash中,生产消息,如下图所示。 图5 生产消息 切换到Kafka控制台,单击实例名称,进入实例详情页。 在左侧导航栏单击“消息查询”,进入消息查询页面。 在“Topic名称”中选择“topic-logstash”,单击“搜索”,查询消息。 图6 查询消息 从图6可以看出,Logstash的Kafka
分布式消息服务Kafka版计费概述 通过阅读本文,您可以快速了解分布式消息服务Kafka版的计费模式、计费项、续费、欠费等主要计费信息。 计费模式 分布式消息服务Kafka版提供包年/包月和按需计费两种计费模式,以满足不同场景下的用户需求。包年/包月是一种预付费模式,即先付费再使