检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消费进度提交失败,持续报错:COORDINATOR_NOT_AVAILABLE。 根因描述 Flink 1.15版本使用的Kafka客户端存在bug,当某次消费进度提交失败后, 客户端将coordinator置为不可用且无法自动恢复。 问题解决措施 重启Flink job。 升级Flink至1.16及以上版本。
Kafka可以删除消费组下不用的Topic吗? 在Kafka客户端取消订阅该Topic,即可达到在消费组下删除该Topic的效果。 父主题: 消费组问题
分布式消息服务Kafka版支持在控制台重启单个Kafka实例,或批量重启Kafka实例。 约束与限制 在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 在客户端配置重试机制,避免因为重启实例导致的业务断连。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态,才能执行重启操作。
Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 监控数据是每分钟进行采集上报,上报的数据经过整理后才会显示在监控页面上,此过程大约需要几分钟到十几分钟,建议您在删除消费组后,过一段时间再去监控页面查看。 父主题: 监控告警问题
Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。 在停止被重置消费组客户端后,需要经过ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间(默认10000毫秒),服务端才认为消费组客户端真正下线。 URI POST /v1.0/{pr
在Kafka Manager中创建Topic 在客户端创建Topic Kafka客户端版本为2.2以上时,支持通过kafka-topics.sh创建Topic,以及管理Topic的各类参数。 未开启密文接入的Kafka实例,在Kafka客户端的“/bin”目录下,通过以下命令创建Topic。
Kafka实例的SSL证书有效期多长? Kafka实例开启SASL_SSL时,需进行单向认证,证书有效期足够长(超过15年),客户端不需要关注证书过期风险。 查看SSL证书有效期的方法如下: 解压从Kafka实例控制台下载的压缩包,获取压缩包中的“phy_ca.crt”。 双击“phy_ca
kafka.2u4g.cluster.small,三个代理 Kafka客户端连接数在6000以内,消费组个数在45个以内,业务TPS为60000以内时推荐选用。 kafka.2u4g.cluster,三个代理 Kafka客户端连接数在6000以内,消费组个数在60个以内,业务TPS为90000以内时推荐选用。
为什么消息创建时间显示1970? 消息创建时间是由生产客户端在生产消息时通过CreateTime指定的,如果生产消息时没有设置此参数,消息创建时间会默认为1970。 父主题: 消息问题
单击“选择默认”。 流控创建完后,无法修改“用户名”。 客户端ID 输入前提条件中获取的客户端ID,对此客户端进行流控。如果需要对所有客户端进行流控,在“客户端ID”后,单击“选择默认”。 流控创建完后,无法修改“客户端ID”。 生产上限速率 设置生产上限速率,单位为MB/s。为空时,表示不设置速率。
实例消费正常,为什么看不到消费者? 检查是否使用Flink进行消费。Flink使用的是assign模式,消费者定义在客户端,因此在Kafka实例控制台看不到消费者。 父主题: 消费组问题
是否支持Kerberos认证 不支持 客户端单IP连接数 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。 Topic 表2
会发生秒级连接闪断,在用户网络环境稳定的前提下,Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制,方法如下: 生产客户端为Kafka开源客户端时,检查是否配置retries参数,建议此参数值设置为3~5。 生产客户端为Flink客户端时,检查是
设置带宽使用量的统计方式。 前n个:统计带宽使用量排名前x个的用户/客户端/Topic,x由您自行输入。 带宽速率:统计带宽速率大于x MB/s的用户/客户端/Topic,x由您自行输入。 带宽使用量:统计带宽使用量超过x %的用户/客户端/Topic,x由您自行输入。 统计类型 设置带宽使用量的统计类型。
行应用监控。 日志同步主要有三个关键部分:日志采集客户端,Kafka消息队列以及后端的日志处理应用。 日志采集客户端,负责用户各类应用服务的日志数据采集,以消息方式将日志“批量”、“异步”发送到Kafka客户端。 Kafka客户端批量提交和压缩消息,对应用服务的性能影响非常小。
全部 购买Kafka实例 连接Kafka 开源Kafka客户端向Kafka实例生产消息和消费消息前,需要先连接Kafka实例。 创建Kafka实例时,支持开启或者关闭SASL_SSL。开源Kafka客户端连接开启SASL_SSL的Kafka实例,与连接未开启SASL_SSL的Ka
dynamic_config Integer 本次修改动态配置参数个数。 static_config Integer 本次修改静态配置参数个数。 请求示例 修改实例的连接空闲超时和日志删除的时间阈值。 PUT https://{endpoint}/v2/{project_id}/instances/{instance_id}/configs
不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围(GB) 单个代理流量规格(MB/s) kafka.2u4g.cluster.small 3~30 20000 100
建安全组。 客户端连接Kafka实例前,请根据不同的连接方式配置对应的安全组规则,否则会连接失败。具体的安全组规则请参考表2。 设置实例访问方式。 表4 实例访问方式参数说明 参数名称 子参数 说明 内网访问 接入方式 接入方式分为以下两种: 明文接入:表示客户端连接Kafka实例时,无需进行SASL认证。
Kafka实例采用物理隔离的方式部署,租户独占Kafka实例。 创建Kafka Topic 创建用于存储消息的Topic,供生产者生产消息以及消费者订阅消息。 连接实例 客户端使用内网/公网连接Kafka实例,并生产消费消息。