检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。 解决方法:在生产客户端配置重试机制。建议设置retries=Integer.MAX_VALUE 父主题: 实例规格变更问题
access topics”的报错。 图1 消费者访问权限 处理方法: 如果业务要求所有消费者在同一个消费组内,即group.id相同,解决方法:为所有消费者授权相同的Topic访问权限。 如果消费者不需要在同一个消费组内,解决方法:修改group.id,让每个消费者单独在一个消费组内。
Topic的配置参数 参数名称 说明 分区数 Topic的分区数,修改方法请参见修改Kafka Topic分区数。 老化时间 消息的最长保留时间,修改方法请参见修改Kafka消息老化时间。 副本数 Topic每个分区的副本数量,修改方法请参见修改Kafka Topic副本数。 同步复制 后端收
Kafka消息堆积了怎么办? 问题现象:实例的监控指标“堆积消息数”产生了告警。 处理方法1: 登录Kafka实例控制台,单击产生告警的实例名称,进入实例详情页。 在左侧导航栏,单击“监控与告警 > 监控详情”,进入监控页面。 在“消费组”页签中,查看“消息堆积数(消费组可消费消息数)”,找出消息堆积的消费组。
要设置带宽限制,建议该参数值不小于待分区平衡Topic的总生产带宽 * 待分区平衡Topic的最大副本数。 带宽限制值的估算方法,请参考带宽限制值估算方法。 执行时间 选择分区平衡任务执行的时间。 立即执行:表示立即执行分区平衡任务。 定时执行:表示在指定的时间执行分区平衡任务。
使用客户端连接Kafka(关闭SASL) 本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时,无需进行认证,数据通过明文传输,性能更好。 约束与限制 2020年7月以及之后购买的实例,Kafka实例的每个代理
如何查看堆积消息数? 通过以下任意一种方法,查看堆积消息数。 在Kafka控制台的“消费组管理”页面,单击待查看堆积消息的消费组名称,进入消费组详情页。在“消费进度”页签,查看消费组中每个Topic的总堆积数。具体步骤,请参考查看消费进度。 在Kafka控制台的“监控与告警 >
使用客户端连接Kafka(开启SASL) 本章节介绍如何使用开源的Kafka客户端访问开启密文接入的Kafka实例的方法。密文接入表示客户端访问Kafka实例时,需要进行SASL认证。如果Kafka安全协议为“SASL_SSL”,客户端和Kafka实例进行通信时,数据使用加密传输,安全性更高。
虚拟私有云ID。 获取方法如下: 方法1:登录虚拟私有云服务的控制台界面,在虚拟私有云的详情页面查找VPC ID。 方法2:通过虚拟私有云服务的API接口查询,具体操作可参考查询VPC列表。 security_group_id String 是 指定实例所属的安全组。 获取方法如下: 方法1:登
在分布式消息服务Kafka版提供的原生Kafka SDK中,消费者可以自定义拉取消息的时长,如果需要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所
如果正在使用的segment文件中包含超过老化时间的消息,由于此时segment文件不会被删除,所以超过老化时间的消息也不会被删除。 处理方法:等待segment文件被使用完,或者删除超过老化时间的消息所在的Topic。 可能原因2:Topic中存在一条create time为未
轮的Rebalance。 解决方法/排查思路 场景一:未能及时发送心跳请求 排查思路:如果是Java语言客户端,建议排查GC日志是否存在长时间FullGC的情况。该场景可能会导致心跳线程阻塞,服务端检查心跳失败,进入Rebalance状态。 解决方法:如果存在长时间FullGC的
单击Kafka实例的名称,进入实例的“基本信息”页面。 明文接入分为内网访问明文接入和公网访问明文接入,开启明文接入方法如表1所示。 表1 开启明文接入方法 接入方式 开启明文接入 内网访问明文接入 在“内网访问 > 明文接入”后,单击,弹出确认对话框。 单击“确认”,跳转到
删除取决于offsets.retention.minutes,offsets.retention.minutes支持在控制台修改,具体修改方法请参考修改配置参数。 2023年4月25日及之后创建的实例,分为以下几种情况: auto.create.groups.enable为fal
为查看方便,在每个具体API的URI部分,只给出resource-path部分,并将请求方法写在一起。这是因为URI-scheme都是HTTPS,而Endpoint在同一个区域也相同,所以简洁起见将这两部分省略。 请求方法 HTTP请求方法(也称为操作或动词),它告诉服务你正在请求什么类型的操作。 GET:请求服务器返回指定资源。
projectman_project_enterprise_project Try again. 问题原因:Topic分区超过限制,不能继续创建Topic。 处理方法:建议扩大实例规格,实例规格增加,分区数也会相应增加。 父主题: Kafka Manager问题
enable”为“false”时,需要手动创建消费组,不需要单独创建生产者和消费者。 修改“auto.create.groups.enable”的方法,请参考修改Kafka实例配置参数。 连接Kafka实例后,生产消息和消费消息,请参考向Kafka实例生产消息和消费消息。 父主题: 消费组问题
删除指定消费组 功能介绍 删除指定消费组。 调用方法 请参见如何调用API。 URI DELETE /v2/{engine}/{project_id}/instances/{instance_id}/groups/{group} 表1 路径参数 参数 是否必选 参数类型 描述 engine
查询Kafka产品规格核数 功能介绍 查询Kafka产品规格核数。 调用方法 请参见如何调用API。 URI GET /v2/kafka/products/cores 表1 Query参数 参数 是否必选 参数类型 描述 instance_id 是 String 实例ID。 product_id
码、修改用户信息和删除用户。创建用户后,对Topic进行用户授权的操作,请参见设置Kafka Topic权限。 在控制台创建用户的方法有两种,两种方法对应的重置密码的步骤有区别。 初始用户:在首次开启密文接入时设置的用户,如果忘记了密码,请参考重置用户密码(初始用户),重置密码。