检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka支持减少分区数吗? Kafka不支持减少分区数,您可以通过删除原先的Topic,然后创建新Topic,重新设置分区数。 父主题: Topic和分区问题
由任意语种字母、数字、空格和字符组成,字符仅支持_ . : = + - @ 创建实例时设置的标签值,首尾字符不能为空格。 配置Kafka实例标签 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
为什么消息创建时间显示1970? 消息创建时间是由生产客户端在生产消息时通过CreateTime指定的,如果生产消息时没有设置此参数,消息创建时间会默认为1970。 父主题: 消息问题
已获取连接Kafka实例的地址。 在Kafka控制台的“基本信息 > 连接信息”中获取实例连接地址。Kafka实例连接地址在Kafka控制台存在两种不同的显示,一种为“内网连接地址”/“公网连接地址”,另一种为“内网明文连接地址”/“公网明文连接地址”,具体以控制台显示为准。 如果是使用内网通过
Kafka实例是否支持不同的子网? 支持。 客户端与实例在相同VPC内,可以跨子网段访问。同一个VPC内的子网默认可以进行通信。 父主题: 连接问题
ot authorized to access topics。 问题原因:消费组的leader在进行分区分配时,不会考虑某一个消费者的授权和订阅信息,只会根据消费组整体的订阅情况进行分区分配,此种情况下可能会给消费者分配到未授权的Topic,从而导致了上述问题的出现。 例如:消费
"storage_spec_code": "dms.physical.storage.high.v2" } name:实例名称,由您自行定义。 engine:消息引擎,设置kafka。 engine_version:消息引擎的版本。 broker_num:代理个数。 storage_space:消息存储空间,
spring-kafka的使用 本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。
Kafka相关概念 华为云使用Kafka作为消息引擎,以下概念基于Kafka进行描述。 Topic 消息主题。消息的生产与消费,围绕消息主题进行生产、消费以及其他消息管理操作。 Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息,多个消费者订阅该消息主题的消息,生产者与消费者彼此并无直接关系。
版本发布说明 实例版本 发布时间 新增/优化特性 1.1.0和2.7 2023年7月 控制台支持查看重平衡日志 1.1.0和2.7 2023年4月 控制台支持手动创建消费组 1.1.0和2.7 2023年2月 控制台支持客户端、Topic级别生产消费流量控制 1.1.0和2.7 2022年12月
地址”应避免设置为0.0.0.0/0。 建议将访问Kafka实例方式设置为密码访问(即开启SASL),防止未经认证的客户端误操作实例。 开启敏感操作多因子认证保护您的数据不被误删。 DMS for Kafka支持敏感操作保护,开启后执行删除实例等敏感操作时,系统会进行身份验证,进
backoff.ms=1000。 request.timeout.ms 30000 结合实际业务调整 设置一个请求最大等待时间(单位为ms),超过这个时间则会抛Timeout异常。 超时时间如果设置大一些,如127000(127秒),高并发的场景中,能减少发送失败的情况。 block.on
漏洞修复策略 漏洞修复周期 高危漏洞: Kafka社区发现漏洞并发布修复方案后,分布式消息服务Kafka版一般在1个月内进行修复,修复策略与社区保持一致。 操作系统紧急漏洞按照操作系统修复策略和流程对外发布,一般在一个月内提供修复方案,用户自行修复。 其他漏洞: 按照版本正常升级流程解决。
Kafka实例的ZK地址是什么? Kafka实例依赖ZK进行管理,开放ZK可能引发误操作导致业务受损,ZK仅Kafka内部使用,不对外提供服务。 您可使用Kafka开源客户端连接Kafka实例,调用原生API生产与消费消息。 父主题: 实例问题
测试Kafka生产速率和CPU消耗 本章节从批处理大小、是否跨AZ生产、副本数、同步/异步复制的维度进行分布式消息服务Kafka版的性能测试,对比客户端消息生产速率和服务端CPU消耗,得出性能测试结果。 测试场景一(批处理大小):相同的Kafka实例和Topic,不同的消息大小
修改Kafka消费组信息 消费组创建成功后,您可以根据业务需要修改消费组的描述信息。 修改Kafka消费组信息 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
Manager功能。 约束与限制 重启Kafka Manager不会影响业务。 重启Kafka Manager 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
导出Kafka消费组列表 消费组创建成功后,可导出Kafka实例中消费组的列表信息。 导出Kafka消费组列表 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
随时在Kafka控制台为Kafka实例续费,以延长Kafka实例的使用时间。 自动续费 开通自动续费后,Kafka实例会在每次到期前自动续费,避免因忘记手动续费而导致资源被自动删除。 在一个包年/包月Kafka实例生命周期的不同阶段,您可以根据需要选择一种方式进行续费,具体如图1所示。
Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 监控数据是每分钟进行采集上报,上报的数据经过整理后才会显示在监控页面上,此过程大约需要几分钟到十几分钟,建议您在删除消费组后,过一段时间再去监控页面查看。 父主题: 监控告警问题