检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例版本在控制台和Kafka Manager上显示不一致? Kafka实例的版本以控制台为准。Kafka Manager使用了开源Kafka 2.2.0的公共信息配置,所以显示的版本是2.2.0,和购买的Kafka实例版本没有关系。 父主题: Kafka Manager问题
SmartConnect任务的id。 status String SmartConnect任务的状态。 create_time Long SmartConnect任务的创建时间。 表5 SmartConnectTaskRespSourceConfig 参数 参数类型 描述 redis_address String
spring-kafka的使用 本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。
客户端单IP连接的个数为多少? 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改配置参数来修改单IP的连接数。
task_name String 转储任务名称。 destination_type String 转储任务类型。 create_time Long 转储任务创建时间戳。 status String 转储任务状态。 topics String 返回任务转存的topics列表或者正则表达式。 请求示例
用户描述。 role String 用户角色。 default_app Boolean 是否为默认应用。 created_time Long 创建时间。 请求示例 查询用户列表。 GET https://{endpoint}/v2/{project_id}/instances/{instance_id}/users
重置消费组消费进度到指定位置 当前页面API为历史版本API,未来可能停止维护。请使用重置消费组消费进度到指定位置。 前提条件 Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。 在停止被重置消费组客户端后,需要经过ConsumerConfig
重置消费组消费进度到指定位置 功能介绍 Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。停止待重置消费组客户端,然后等待一段时间(即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000
total Integer 所有的消费组总数。 表4 GroupInfoSimple 参数 参数类型 描述 createdAt Long 创建时间。 group_id String 消费组ID。 state String 消费组状态。包含以下状态: Dead:消费组内没有任何成员,且没有任何元数据。
PolicyEntity objects 权限列表。 表3 PolicyEntity 参数 参数类型 描述 owner Boolean 是否为创建topic时所选择的用户。 user_name String 用户名。 access_policy String 权限类型。 all:拥有发布、订阅权限;
计费样例 计费场景 某用户于2023/03/18 15:30:00在“华北-北京四”区域购买了一个按需计费的Kafka实例,规格配置如下: 规格:kafka.2u4g.cluster*3 总存储空间:高I/O 300GB 用了一段时间后,用户发现Kafka实例当前规格无法满足业务需要,于2023/03/20
连接问题 选择和配置安全组 Kafka实例是否支持公网访问? Kafka实例的连接地址默认有多少个? 是否支持跨Region访问? Kafka实例是否支持跨VPC访问? Kafka实例是否支持不同的子网? Kafka是否支持Kerberos认证,如何开启认证? Kafka实例是否支持无密码访问?
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址,无法登录Kafka Manager,报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。
扩容/缩容过程中生产消息失败 可能原因:在扩容/缩容代理规格的过程中,代理采用滚动重启的方式进行实例变更。在重启过程中,分区Leader会进行切换,此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。
重启Kafka实例 分布式消息服务Kafka版支持在控制台重启单个Kafka实例,或批量重启Kafka实例。 约束与限制 在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 在客户端配置重试机制,避免因为重启实例导致的业务断连。 前提条件 只有当Kafka实例处于
public static void main(String[] args) throws IOException { //创建当前消费组的consumer final KafkaConsumer<String, String> consumer1 =
消息从生产到消费时延高达6分钟 问题现象 消息从生产到消费的端到端时延偶现到达6分钟,业务对消息时延较为敏感。 分析过程 怀疑是业务堆积,处理慢导致时延。 通过查看监控数据,发现业务请求并不是很多,堆积最多时也只有50条消息,同时每秒新增消息只有10条左右,应该还没有到达处理极限。
典型应用场景 Kafka作为一款热门的消息队列中间件,具备高效可靠的消息异步传递机制,主要用于不同系统间的数据交流和传递,在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分,使用消
连接实例 配置Kafka网络连接 配置Kafka访问控制 配置Kafka客户端 使用客户端连接Kafka(关闭SASL) 使用客户端连接Kafka(开启SASL) 使用控制台连接Kafka
管理实例 查看和修改Kafka实例基本信息 查看Kafka磁盘使用量 查看Kafka实例后台任务 查看Kafka生产消费示例代码 修改Kafka实例配置参数 配置Kafka实例标签 配置Kafka实例回收站策略 升级Kafka实例内核版本 导出Kafka实例列表 重启Kafka实例