检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
扩容/缩容过程中生产消息失败 可能原因:在扩容/缩容代理规格的过程中,代理采用滚动重启的方式进行实例变更。在重启过程中,分区Leader会进行切换,此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。 解决方法:
512机制和PLAIN机制,根据实际情况选择其中任意一种配置连接。 公网访问 - 选择“不开启”。 图5 设置实例的访问方式 设置实例高级配置,如图6所示,配置详情请参考表6,其他参数保持默认设置。 表6 设置实例高级配置 参数 说明 实例名称 实例名称支持自定义,但需要符合命名
配置Kafka流控 Kafka支持对用户/客户端/Topic配置流量控制,控制生产/消费消息的上限速率。 用户/客户端的流控作用范围是整个Broker,Topic的流控作用范围是指定Topic。 约束与限制 2022年11月10日及以后创建的实例支持此功能。 单机实例不支持配置流控。
分布式消息服务Kafka版 开源Kafka 简单易用 立等可用 即开即用,可视化操作,自助创建,自动化部署,分钟级创建实例,立即使用,实时查看和管理消息实例。 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。
Java Development Kit 1.8.111及以上版本,可至Oracle官方下载页面下载。 安装后注意配置JAVA的环境变量。 IntelliJ IDEA 获取并安装IntelliJ IDEA,可至IntelliJ IDEA官方网站下载。 操作步骤 下载Demo包。 下载后解压,有如下文件:
= + - @ 首尾字符不能为空格。 不能以_sys_开头。 标签值 长度为0~255个字符(中文也可以输入255个字符)。 由任意语种字母、数字、空格和字符组成,字符仅支持_ . : = + - @ 创建实例时设置的标签值,首尾字符不能为空格。 配置Kafka实例标签 登录管理控制台。
已开启密文接入的Kafka实例,通过以下步骤删除Topic。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此
Flink 1.15消费进度提交失败 问题现象 Flink 1.15版本消费Kafka时, 消费进度提交失败,持续报错:COORDINATOR_NOT_AVAILABLE。 根因描述 Flink 1.15版本使用的Kafka客户端存在bug,当某次消费进度提交失败后, 客户端将coordinator置为不可用且无法自动恢复。
已开启密文接入的Kafka实例,通过以下步骤删除消费组。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此
启密文接入时设置的用户)可以通过客户端创建Topic,其他用户无法通过客户端创建Topic。 Topic名称开头包含特殊字符,例如“#”号时,监控数据无法展示。 由于Kafka内核限制,无法区分句点和下划线,因此无法创建名称中只有句点和下划线不同的Topic。例如,已创建Topic_1,在新创建Topic
扩容失败提示资源不足 问题现象:扩容失败,提示底层ECS/EVS资源不足,但在ECS控制台可以购买对应规格的ECS。 可能原因:底层资源配额与控制台界面显示的可用规格配额存在差异。 解决方法:联系客服增加配额数。 父主题: 实例规格变更问题
afka实例。使用内网连接时,注意以下几点: 如果客户端和Kafka实例部署在同一个VPC内,网络默认互通。 如果客户端和Kafka实例部署在不同VPC中,由于VPC之间逻辑隔离,客户端和Kafka实例不能直接通信,需要打通VPC之间的网络。 客户端连接Kafka实例的方式如表1所示。
@#$%^&*()-_=+\|[{}];:'",<.>?和空格,并且不能以-开头。 不能与用户名或倒序的用户名相同。 密文接入成功开启后,用户名不支持修改。 kafka安全协议、SASL PLAIN机制、用户名和密码在客户端连接已开启密文接入的Kafka实例时需要配置,具体请参考使用客户端连接Kafka(开启SASL)。
名称。 消费组名称:根据您的业务需求,设定消费组名称。如果已经在配置文件中指定了消费组名称,请确保命令行中的消费组名称与配置文件中的相同,否则可能消费失败。消费组名称开头包含特殊字符,例如#号“#”时,监控数据无法展示。 示例如下: [root@ecs-kafka bin]#
配置Kafka实例回收站策略 开启回收站策略的实例在被删除后,会被临时存入回收站中,此时实例中的数据尚未被彻底删除,在保留天数内支持从回收站中恢复此实例。超过保留天数的实例会被彻底删除,无法恢复。 回收站策略默认是关闭状态。 约束与限制 回收站中的按需实例不会收取实例的费用,但是会收取存储空间的费用。
区平衡一直无法结束。如果分区平衡一直无法结束,请联系客服处理。 分区平衡任务启动后,不能删除正在进行分区平衡的Topic,否则会导致分区平衡任务无法结束。 分区平衡后Topic的metadata会改变,如果生产者不支持重试机制,会有少量的请求失败,导致部分消息生产失败。 数据量大
ic已授权某一个或多个用户,此时只有授权的用户可以订阅/发布此Topic,其他未授权的用户不能订阅/发布此Topic。“allow.everyone.if.no.acl.found”在配置参数中修改。 如果“allow.everyone.if.no.acl.found”为“fal
买弹性云服务器。 登录弹性云服务器,安装Java JDK,并配置JAVA_HOME与PATH环境变量,使用执行用户在用户家目录下修改“.bash_profile”,添加如下行。其中“/opt/java/jdk1.8.0_151”为JDK的安装路径,请根据实际情况修改。 export
云监控无法展示Kafka监控数据 Topic监控数据无法展示,可能原因如下: Topic名称开头包含特殊字符,例如#号“#”。 Kafka实例中没有创建Topic。 解决方法如下: 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示,可能原因如下: 消费组名称开头包含特殊字符,例如#号“#”。
如果Kafka实例的子网配置了网络ACL功能,需要在网络ACL的入方向规则中放通198.19.128.0/17网段的地址,以及VPC终端节点涉及的子网。 198.19.128.0/17是为VPC终端节点分配的网段,使用VPC终端节点需要放通此网段。 父主题: 配置Kafka网络连接