检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理消息 查看Kafka消息 修改Kafka消息老化时间 删除Kafka消息 诊断Kafka消息积压
实例规格变更问题 Kafka扩容/缩容会影响业务吗? 扩容过程中涉及数据迁移吗? 扩容/缩容过程中生产消息失败 扩容失败提示资源不足
true offsets.retention.minutes 消费位点保留时间是消费位点最大保留时间,从提交消费位点的时间开始计算,超过该时间的消费位点将被删除。消费者每次向Topic分区提交一次消费位点时,该消费位点的保留时间将会被重置为0。 2023年5月1日前创建的实例,此参数为静态参数。
current_partitions 分区个数 group_messages 消费组堆积消息数 kafka_broker(kafka节点维度) broker_data_size 节点数据容量 broker_messages_in_rate 消息生产速率,每秒生产的消息数量 broker_bytes_out_rate
重启Kafka实例大约需要3到15分钟。Kafka实例重启成功后,实例状态切换为“运行中”。 重启Kafka实例只会重启实例进程,不会重启实例所在虚拟机。 父主题: 管理实例
python3 producer.py 运行成功后,返回如下回显。 [root@ecs-test ~]# python3 producer.py start producer end producer [root@ecs-test ~]# 消费消息 在客户端创建一个文件,用于存放消费消息的代码示例。
请参考购买终端节点。 图5 终端节点参数设置 单击“立即购买”,进入规格确认页面。 确认无误后,提交请求。 购买成功后,返回终端节点页面,查看终端节点状态是否为“已接受”,“已接受”表示终端节点已成功连接至终端节点服务。 图6 查看终端节点状态 单击终端节点ID,在“基本信息”页签,查看并记录节点IP。
available_zones Array 是 创建节点到指定且有资源的可用区ID。该参数不能为空数组或者数组的值为空,详情请参考查询可用区信息查询得到。在查询时,请注意查看该可用区是否有资源。 创建Kafka实例,支持节点部署在1个或3个及3个以上的可用区。在为节点指定可用区时,用逗号分隔开。参数设置参考如下示例。
Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
指定的内网IP地址,仅支持指定IPv4。 指定的IP数量只能小于等于新增节点数量。 当指定IP小于节点数量时,未指定的节点随机分配内网IP地址。 second_tenant_subnet_id 否 String 实例扩容时新节点使用备用子网的id。 当实例扩容使用备用子网,则传入此值。 需要联系客服添加白名单才能传入此值。
输入偏移量,最早偏移量到输入偏移量之前的数据将被删除。例如:最早偏移量为2,输入的偏移量为5,此时会删除偏移量为2到4的消息。 请注意以下几点: 如果“偏移量”设置为“-1”,表示删除分区中所有的消息。 如果您输入的偏移量不在指定分区的最早偏移量和最晚偏移量之间,消息将不会被删除。
常用Golang客户端对比 客户端 优点 缺点 Confluent-Kafka-go Confluent-Kafka-go是由Confluent提供的官方Kafka客户端库,与Kafka完全兼容,支持所有的Kafka特性。 稳定性高,基于librdkafka,具有高性能和低延迟的特点。 增加编译复杂度
在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本通过数据同步的方式保持数据一致,当网络发生异常或节点故障时,通过冗余副本自动故障切换,并且故障恢复后会从leader副本进行数据同步,保持数据一致性。 创建多副本的Topic 数据持久化 业务
partitions参数说明 参数 类型 说明 partition Integer 分区ID。 leader Integer leader副本所在节点的id。 leo long 分区leader副本的LEO(Log End Offset)。 hw long 分区高水位(HW,High Watermark)。
表1 消费组参数说明 参数 说明 消费组名称 自定义名称,但需要符合命名规则:只能由英文字母、数字、下划线开头,且只能英文字母、 数字、句点、中划线、下划线组成,长度3~64个字符。 消费组名称开头包含特殊字符,例如#号“#”,会导致监控数据无法展示。 描述 消费组的描述信息,长度0~200个字符。
查询消费组信息 当前页面API为历史版本API,未来可能停止维护。请使用查询消费组信息。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/groups/{group} 参数说明如下表所示。 表1 参数说明 参数 类型
在待修改配置的Topic所在行,单击“编辑”。 在“编辑Topic”对话框中,修改Topic的配置,单击“确定”。 修改配置时,注意以下两点: 当副本数为1时,不能开启同步复制功能。 开启同步复制后,需要在客户端配置acks=all或者-1,否则无效。 父主题: Topic管理
Manager是开源的Kafka集群管理工具,您可以通过浏览器访问Kafka Manager。在Kafka Manager页面,您可以查看Kafka集群的监控、节点等信息。 支持区域: 全部 连接和查看Kafka Manager 重置Kafka Manager密码 重启Kafka Manager Smart
Kafka实例支持配置Topic副本数量,配置多副本后Kafka实例会主动建立和维护同步复制,在实例某个broker故障的情况下,实例会自动将该节点上分区leader切换到其它可用的broker上,从而达到高可用的目的。 建议使用多个可用区构建数据容灾能力。 Kafka集群实例支持跨可用