检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
扩容/缩容过程中生产消息失败 可能原因:在扩容/缩容代理规格的过程中,代理采用滚动重启的方式进行实例变更。在重启过程中,分区Leader会进行切换,此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。
</dependency> 准备Kafka配置信息 为了方便,下文分生产与消费两个配置文件介绍。其中涉及SASL认证配置,如果Kafka实例没有开启密文接入,使用的是不加密连接,请注释相关代码;如果Kafka实例开启了密文接入,则必须使用加密方式连接,请设置相关参数。 生产消息配置文件(对应生产消息代码中的dms
C访问。 检查安全组规则是否配置正确。请参考如何选择和配置安全组。 检查Consumer和Producer的配置 查看日志,检查Consumer和Producer初始化时打印的参数是否符合预期,是否和自己在配置文件中设置的一致。 如果不一致,请检查配置文件的写法。 Java客户端常见报错
同步、异步复制,数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署,服务高可用 Kafka后台为多集群部署,支持故障自动迁移和容错,保证业务的可靠运行。 Kafka实例支持跨AZ部署,代理部署在不同的AZ,进一步保障服务高可用。不同AZ之间基于Kafka ISR(in-sync
ss String 实例公网连接IP地址。当实例开启了公网访问,实例才包含该参数。 public_connect_domain_name String 实例公网连接域名。当实例开启了公网访问,实例才包含该参数。 storage_resource_id String 存储资源ID。
查询可用区信息 功能介绍 在创建实例时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。 调用方法 请参见如何调用API。 URI GET /v2/available-zones 请求参数 无 响应参数 状态码:200 表1 响应Body参数 参数 参数类型 描述 region_id
fka实例配置参数来修改单IP的连接数,即修改max.connections.per.ip参数值。 前提条件 已打通客户端和Kafka实例之间的网络,具体网络要求请参考连接Kafka网络要求。 已配置正确的安全组。 客户端访问开启密文接入的Kafka实例时,实例需要配置正确的安全
Kafka实例批量删除Topic 当前页面API为历史版本API,未来可能停止维护。请使用Kafka实例批量删除Topic。 功能介绍 该接口用于向Kafka实例批量删除Topic。 URI POST /v1.0/{project_id}/instances/{instance_id}/topics/delete
使用Sarama客户端收发消息可能存在以下问题: Sarama客户端无法感知分区变化,当Topic分区数增加时,需要重启客户端后才能正常消费。 Sarama客户端消息最大处理时间(MaxProcessingTime)默认值为100ms,超过最大处理时间可能导致消费者无法消费。 当消费
删除Topic失败 问题现象 删除Topic不生效,删除后该Topic仍然存在。 根因描述 实例开启了自动创建Topic功能,且有消费者正在连接该Topic。如果没有停止业务,删除Topic后,还会有消息生产行为,并自动创建Topic。 问题解决措施 关闭Kafka自动创建Top
Kafka实例查询Topic 当前页面API为历史版本API,未来可能停止维护。请使用Kafka实例查询Topic。 功能介绍 该接口用于查询指定Kafka实例的Topic详情。 URI GET /v1.0/{project_id}/instances/{instance_id}/topics
apache.kafka.common.serialization.StringDeserializer #======== SASL配置(不开启SASL时将以下配置删除) ======= ## 设置SASL认证机制、账号和密码。 ## spring.kafka.properties.sasl
如何修改message.max.bytes参数? 在Kafka控制台的“配置参数”页面修改message.max.bytes参数,具体步骤请参见修改Kafka实例配置参数。 message.max.bytes参数最大只能修改为10485760字节,如果您实际的业务场景中单条消息的
Java Development Kit 1.8.111及以上版本,可至Oracle官方下载页面下载。 安装后注意配置JAVA的环境变量。 IntelliJ IDEA 获取并安装IntelliJ IDEA,可至IntelliJ IDEA官方网站下载。 操作步骤 下载Demo包。 下载后解压,有如下文件:
单副本Topic查询消息时可能会报“内部服务错误”,因此不建议使用单副本Topic。 老化时间 如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention
云监控无法展示Kafka监控数据 Topic监控数据无法展示,可能原因如下: Topic名称开头包含特殊字符,例如#号“#”。 Kafka实例中没有创建Topic。 解决方法如下: 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示,可能原因如下: 消费组名称开头包含特殊字符,例如#号“#”。
Kafka实例创建成功后,您可以根据业务需要,扩容或者缩容实例规格,Kafka实例支持的变更配置如表1所示。代理数量、基准带宽、存储空间和代理规格不能同时变更,每次变更只支持一种配置类型的变更。 表1 变更配置列表 实例规格类型 变更配置类型 是否支持扩容 是否支持缩容 新规格实例 代理数量 √ × 存储空间
当ssl_enable为true时,该参数必选, ssl_enable为false时,该参数无效。 认证用户名,只能由英文字母、数字、中划线、下划线组成,长度为4~64的字符。 password String 否 当ssl_enable为true时,该参数必选, ssl_enable为false时,该参数无效。
为什么Console页面上,消息查询查不到消息? 可能原因1:消息已被老化。 解决方法:修改老化时间。 可能原因2:消息的createTime时间戳不对。 Console页面是根据时间查询的,所以查不到。时间戳是由客户端生成,不同客户端有不同的处理策略,有的客户端默认值会是0或者-1,则查询不到消息。
删除指定实例 当前页面API为历史版本API,未来可能停止维护。请使用删除指定的实例。 功能介绍 删除指定的实例,释放该实例的所有资源。 URI DELETE /v1.0/{project_id}/instances/{instance_id} 参数说明见表1。 表1 参数说明 参数