检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
变更规格 扩容存储空间 扩容代理数量 扩容基准带宽 扩容代理规格 缩容代理规格 创建流控 创建用户/客户端/Topic流控。 编辑流控 修改流控参数。 删除流控 删除用户/客户端/Topic流控。 Kafka分区平衡 修改Topic的分区平衡。 开启日志 开启Kafka重平衡日志。
接地址和弹性公网IP的对应关系与添加DNAT规则中记录的对应关系保持一致,单击“保存”。 图6 修改advertised.listeners IP(使用DNAT访问) 步骤五:验证接口连通性 参考使用客户端连接Kafka(关闭SASL)或者使用客户端连接Kafka(开启SASL),测试是否可以生产和消费消息。
监控告警问题 云监控无法展示Kafka监控数据 Kafka监控显示消息堆积数跟实例里的消息数不一致? Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动? 为什么JVM堆内存使用率出现明显波动? 生产消息数不为0,为什么生产速率为0?
每个分区都随机挑选一个副本作为Leader,该分区所有消息的生产与消费都在Leader副本上完成,消息从Leader副本复制到其他副本(Follower)。 Kafka的主题和分区属于逻辑概念,副本与代理属于物理概念。下图通过消息的生产与消费流向,解释了Kafka的分区、代理与主题间的关系。 图1 Kafka消息流
ader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制,方法如下: 生产客户端为Kafka开源客户端时,检查是否配置retries参数,建议此参数值设置为3~5。 生产客户端为Flink客户端时,检查是否配置重启策略,配置重启策略可以参考如下代码。 St
排查思路:如果是Java语言客户端,建议排查GC日志是否存在长时间FullGC的情况。该场景可能会导致心跳线程阻塞,服务端检查心跳失败,进入Rebalance状态。 解决方法:如果存在长时间FullGC的情况,需要您排查客户端相关问题(FullGC可能是客户端存在内存泄露)。 场景二:消费者消费时间间隔过长
查询消费组信息 当前页面API为历史版本API,未来可能停止维护。请使用查询消费组信息。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/groups/{group} 参数说明如下表所示。 表1 参数说明 参数 类型
称,进入消费组详情页。在“消费进度”页签,查看消费组中每个Topic的总堆积数。具体步骤,请参考查看消费进度。 在Kafka控制台的“监控与告警 > 监控详情”页面的“消费组”页签中,“消费组”选择待查看堆积消息数的消费组名称,“主题”选择“全部Topic”,“消费组可消费消息数
Kafka实例查询Topic 当前页面API为历史版本API,未来可能停止维护。请使用Kafka实例查询Topic。 功能介绍 该接口用于查询指定Kafka实例的Topic详情。 URI GET /v1.0/{project_id}/instances/{instance_id}/topics
种情况时,Topic详情页面不显示创建时间。 2023年7月10日以及之前创建的Topic。 自动创建的Topic、在客户端使用命令行创建的Topic、在客户端通过代码创建的Topic、以及使用Kafka Manager创建的Topic。 订阅关系:包含消费组名称、消费组状态、Coordinator(ID)和堆积数。
Kafka实例创建Topic 当前页面API为历史版本API,未来可能停止维护。请使用Kafka实例创建Topic。 功能介绍 该接口用于向Kafka实例创建Topic。 URI POST /v1.0/{project_id}/instances/{instance_id}/topics
kafka.2u4g.cluster.small,三个代理 Kafka客户端连接数在6000以内,消费组个数在45个以内,业务TPS为60000以内时推荐选用。 kafka.2u4g.cluster,三个代理 Kafka客户端连接数在6000以内,消费组个数在60个以内,业务TPS为90000以内时推荐选用。
Kafka单机实例 Kafka单机实例规格 Kafka单机实例由一个代理组成,兼容开源Kafka 2.7版本,适用于测试场景,不建议用于生产业务。 TPS(Transaction per second),在Kafka场景中,指每秒能写入到Kafka实例的最大消息数量。下表中TPS
云监控服务不需要开通,会在您创建Kafka实例后自动启动。相关文档请参见Kafka支持的监控指标。 使用最新版本SDK获得更好的操作体验和更强的安全能力 建议您升级SDK并使用最新版本,从客户侧对您的数据和Kafka使用过程提供更好的保护。最新版本SDK在各语言对应界面下载,请参见SDK概述。
进度可能会略小于源端,造成部分消息被重复消费,所以需要消费者客户端业务逻辑兼容重复消费的场景。 从源端同步的offset与目标端的offset并非一致关系,而是映射关系,如果消费进度由消费者客户端自行维护,消费者客户端从消费源端Kafka实例变为消费目标端Kafka实例后,不向目
Kafka实例采用物理隔离的方式部署,租户独占Kafka实例。 创建Kafka Topic 创建用于存储消息的Topic,供生产者生产消息以及消费者订阅消息。 连接实例 客户端使用内网/公网连接Kafka实例,并生产消费消息。
调整Kafka实例Topic分区的副本 当前页面API为历史版本API,未来可能停止维护。请使用修改Kafka实例Topic分区的副本。 URI POST /v1.0/{project_id}/instances/{instance_id}/manage/topics/{topi
购买Kafka实例 连接Kafka 开源Kafka客户端向Kafka实例生产消息和消费消息前,需要先连接Kafka实例。 创建Kafka实例时,支持开启或者关闭SASL_SSL。开源Kafka客户端连接开启SASL_SSL的Kafka实例,与连接未开启SASL_SSL的Kafka实例的
请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时
本文介绍了分布式消息服务Kafka版提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 在开始使用之前,请确保您安装的是最新版本的SDK。使用过时的版本可能会导致兼容性问题或无法