检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用内网通过同一个VPC访问Kafka实例的连接地址(内网连接地址) 图2 使用内网通过同一个VPC访问Kafka实例的连接地址(内网明文连接地址) 如果是公网访问,Kafka连接地址如下图所示。 图3 公网访问Kafka实例的连接地址(公网连接地址) 图4 公网访问Kafka实例的连接地址(公网明文连接地址) 如
Kafka客户端参数配置建议 Kafka客户端的配置参数很多,以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同,以下配置参数适用于1.1.0及以上版本。其他参数和版本配置,请参考Kafka配置。 表1 Producer参数 参数
Kafka连接问题排查和解决 概述 本章节主要描述Kafka连接问题的排查和解决。 问题分类 当您发现与Kafka实例连接出现异常时,可以根据本文的内容,从以下几个方面进行排查。 检查网络 检查Consumer和Producer的配置 客户端连接问题-Java客户端 客户端连接问题-Go客户端
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题: 连接实例
Kafka客户端使用建议 consumer使用建议 consumer的owner线程需确保不会异常退出,避免客户端无法发起消费请求,阻塞消费。 确保处理完消息后再做消息commit,避免业务消息处理失败,无法重新拉取处理失败的消息。 通常不建议对每条消息都进行commit,如果对
执行重置消费进度之前,必须停止被重置消费组客户端。停止待重置消费组客户端,然后等待一段时间(即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000毫秒)后,服务端才认为此消费组客户端已下线。 调用方法 请参见如何调用API。 URI
为什么Console页面上,消息查询查不到消息? 可能原因1:消息已被老化。 解决方法:修改老化时间。 可能原因2:消息的createTime时间戳不对。 Console页面是根据时间查询的,所以查不到。时间戳是由客户端生成,不同客户端有不同的处理策略,有的客户端默认值会是0或者-1,则查询不到消息。
afka实例。 前提条件 实例已开启Kafka SASL_SSL。 获取PEM格式的SSL证书 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
连接开启SASL_SSL的Kafka实例时,ssl truststore文件可以用PEM格式的吗? 可以使用PEM格式。使用PEM格式SSL证书连接Kafka实例的方法请参考获取和使用Kafka PEM格式的SSL证书。 父主题: 连接问题
JKS格式的SSL证书 获取和使用Kafka PEM格式的SSL证书 配置Kafka的SSL双向认证 配置Kafka ACL用户 父主题: 连接实例
控制台只能展示4KB以内的消息,超过4KB的消息,请单击“下载消息”,下载到本地查看消息完整的内容。 查看Kafka消息 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
jks”需要存放到客户端中,并记录存放路径,此路径用于客户端连接Kafka实例时,配置文件中“ssl.truststore.location”参数的值。 图1 证书目录 步骤二:替换证书 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消
约束与限制 重启Kafka Manager不会影响业务。 重启Kafka Manager 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
的密码,可使用新密码登录Kafka Manager。 2023年5月17日及以后创建的实例不提供重置Kafka Manager密码功能。 前提条件 已创建Kafka实例,且实例处于“运行中”。 重置Kafka Manager密码 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
Manager关闭后,无法再次开启。 关闭Kafka Manager,不会重启实例。 关闭Kafka Manager 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 在客户端配置重试机制,避免因为重启实例导致的业务断连。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态,才能执行重启操作。 重启Kafka实例 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
Kafka实例连接数有限制吗? 不同规格的Kafka实例,连接数限制如下: 表1 老规格Kafka实例的连接数 基准带宽 连接数上限 100MB/s 3000 300MB/s 10000 600MB/s 20000 1200MB/s 20000 表2 新规格Kafka实例的连接数 实例规格
Kafka实例的连接地址默认有多少个? Kafka实例的连接地址个数和实例的代理个数有关,连接地址个数即为代理个数。每类实例规格对应的代理个数如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限
成本管理 随着上云企业越来越多,企业对用云成本问题也越发重视。使用分布式消息服务Kafka版时,如何进行成本管理,减轻业务负担呢?本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理,帮助您通过成本管理节约成本,在保障业务快速发展的同时获得最大成本收益。 成本构成
查询topic的磁盘存储情况 Kafka实例开始分区重平衡任务 关闭Kafka Manager 删除用户/客户端流控配置 查询用户/客户端流控配置 创建用户/客户端流控配置 修改用户/客户端流控配置 父主题: API V2(推荐)