检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明 重置类型 选择重置类型: 时间:重置消费进度到指定的时间。 偏移量:重置消费进度到指定的偏移量。 一键重置消费进度只支持重置消费进度到指定时间。 时间 当“重置类型”为“时间”时,需要设置此参数。 选择重置消费进度的时间点,重置完成后,将从此时间点开始消费。 最早:最早偏移量
消息大小:消息存入磁盘的大小,单位为B。 创建时间:消息的创建时间。创建时间由生产客户端在生产消息时通过CreateTime指定的,如果生产消息时没有设置此参数,创建时间会默认为1970。 单击“查看消息正文”,弹出“查看消息正文”对话框,查看消息的内容,包括Topic名称、分区、偏移量、创建时间和消息正文。
2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。 Topic 表2 Topic约束与限制 限制项 约束与限制 Topic总分区数 Topi
sync_replication Boolean 否 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效。 默认关闭。 retention_time Integer 否 消息老化时间。默认值为72。 取值范围1~720,单位小时。 sync_message_flush
跨VPC访问协议的取值如下: PLAINTEXT:表示客户端访问Kafka实例时,无需认证,数据通过明文传输。 SASL_SSL:表示客户端访问Kafka实例时,使用SASL认证,数据通过SSL证书加密传输。 SASL_PLAINTEXT:表示客户端访问Kafka实例时,使用SASL认证,数据通过明文传输。
有region都可以通过白名单开通此特性。 约束与限制 替换证书将重启实例,请谨慎操作。 前提条件 已准备一台Linux系统的服务器,并安装Java Development Kit 1.8.111或以上版本,配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。
Kafka实例依赖ZK进行管理,开放ZK可能引发误操作导致业务受损,ZK仅Kafka内部使用,不对外提供服务。 您可使用Kafka开源客户端连接Kafka实例,调用原生API生产与消费消息。 父主题: 实例问题
producer.py 运行成功后,返回如下回显。 [root@ecs-test ~]# python3 producer.py start producer end producer [root@ecs-test ~]# 消费消息 在客户端创建一个文件,用于存放消费消息的代码示例。 touch
为什么offset不连续? 在生产者客户端中开启幂等或事务,然后生产消息,此时您会在消费者客户端或Kafka控制台的“消息查询”中观察到消息offset不连续的现象。这是因为开启了幂等或事务后,在生产消息时会产生一些元数据控制消息,这些控制消息也会生产到该Topic中, 且它们对
g)方法帮助实现获取消息、分区平衡、消费者与Kafka broker节点间的心跳检测等功能。 因此在对消费消息的实时性要求不高场景下,当消息数量不多的时候,可以选择让一部分消费者处于wait状态。 代码示例 以下仅贴出与消费者线程唤醒与睡眠相关代码,如需运行整个demo,请先下载
Kafka实例支持通过以下两种方式删除消费组,您可以根据实际情况选择任意一种方式。 在控制台删除消费组 在Kafka客户端使用命令行工具删除消费组(确保Kafka实例版本与命令行工具版本相同) 约束与限制 若“auto.create.groups.enable”设置为“true”,当消费组的状态为
本指南的示例仅展示Kafka的API调用,生产与消费的API集,请参考Kafka官网。 客户端网络环境说明 客户端可以通过以下方式访问Kafka实例: 如果客户端是云上ECS,与Kafka实例处于同region同VPC,则可以直接访问Kafka实例提供的内网连接地址。 如果客户端是云上ECS,与Kafka实例处
是否必选 参数类型 描述 start_time 否 String 查询起始时间,为unix时间戳格式,默认值为0。 end_time 否 String 查询结束时间,为unix时间戳格式,默认值为系统当前时间。 limit 否 Integer 单页返回消息数,默认值为10。 offset
例前,请先创建开启弹性公网IP的ECS、安装JDK、配置环境变量以及下载Kafka开源客户端。 登录管理控制台,在左上角单击,选择“计算 > 弹性云服务器”,创建一个ECS实例。 创建ECS的具体步骤,请参考购买弹性云服务器。如果您已有可用的ECS,可重复使用,不需要再次创建。 使用root用户登录ECS。
NTEXT。 PlainText:客户端通过明文连接Kafka实例。 SASL_SSL:客户端通过密文连接Kafka实例,且连接时需要进行SASL认证。SASL认证分为PLAIN和SCRAM-SHA-512。 SASL_PLAINTEXT:客户端通过明文连接Kafka实例,且连接
fka客户端在生产或消费消息时,可能会报Topic {{topic_name}} not present in metadata after 60000 ms的错误,如下图所示。 问题解决措施 以下三种措施都可以解决此问题,请根据实际情况任意选择一种。 升级Kafka客户端的版本到2
Manager和云监控显示的信息不一致 Kafka Manager如何修改Topic的分区Leader? 实例版本在控制台和Kafka Manager上显示不一致? 为什么实例中存在默认名为__trace和__consumer_offsets的Topic? 客户端删除消费组后,在Kafka
解压zip包,获取PEM格式的SSL证书:client.pem。 使用PEM格式证书访问Kafka实例 以下示例演示在Java客户端使用PEM格式证书访问Kafka实例。 参考Java客户端接入示例,连接Kafka实例生产消费消息。其中,生产消息配置文件和消费消息配置文件中的SASL信息修改为如下内容。
通过密文接入Kafka实例,本章节指导您在控制台修改接入方式。 明文接入:表示客户端连接Kafka实例时,无需进行SASL认证。 密文接入:表示客户端连接Kafka实例时,需要进行SASL认证。 约束与限制 首次修改接入方式时,部分实例会重启,另一部分实例不会重启,具体以控制台提
支持 消息重试 支持 不支持 3.8.35版本:不支持。 AMQP-0-9-1版本:支持。 消费模式 支持客户端主动拉取和服务端推送两种方式。 客户端主动拉取。 支持客户端主动拉取和服务端推送两种模式。 广播消费 支持 支持 支持 消息回溯 支持 支持。Kafka支持按照offs