检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink 1.15消费进度提交失败 问题现象 Flink 1.15版本消费Kafka时， 消费进度提交失败，持续报错：COORDINATOR_NOT_AVAILABLE。 根因描述 Flink 1.15版本使用的Kafka客户端存在bug，当某次消费进度提交失败后， 客户端将coordinator
spring-kafka的使用 本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息，如实例连接地址、Topic名称、用户信息等，请参考收集连接信息获取
获取项目ID 操作场景 在调用接口的时候，部分URL中需要填入项目ID，所以需要获取到项目ID。有如下两种获取方式： 调用API获取项目ID 从控制台获取项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https
按需计费 按需计费是一种先使用再付费的计费模式，适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费Kafka实例的计费规则。 适用场景 按需计费适用于具有不能中断的短期、突增或不可预测的应用或服务，例如电商抢购、临时测试、科学计算。 适用计费项 分布式消息服务Kafka版对您选择的
诊断Kafka消息积压 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 分布式消息服务Kafka版在控制台提供了消息积压诊断功能，如果消息存在堆积，诊断后会生成诊断记录
Kafka业务使用流程 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建
删除Kafka实例 对于按需计费的Kafka实例，控制台支持删除单个实例，也可批量删除实例。对于包年/包月的Kafka实例，如果不再使用，单击“操作”栏下的“更多 > 退订”，退订成功后，Kafka实例会自动被删除。 删除的实例能否恢复取决于是否开启回收站策略，如果未开启回收站策略
Kafka支持磁盘加密吗？ Kafka实例不支持磁盘加密。 父主题： 实例问题
为什么offset不连续？ 在生产者客户端中开启幂等或事务，然后生产消息，此时您会在消费者客户端或Kafka控制台的“消息查询”中观察到消息offset不连续的现象。这是因为开启了幂等或事务后，在生产消息时会产生一些元数据控制消息，这些控制消息也会生产到该Topic中， 且它们对消费者不可见
创建Kafka Topic Topic，即消息主题，用于存储消息，供生产者生产消息以及消费者订阅消息。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动创建
身份认证与访问控制 身份认证 无论用户通过控制台还是API访问DMS for Kafka，都会要求访问请求方出示身份凭证，并进行身份合法性校验，同时提供登录保护和登录验证策略加固身份认证安全。 DMS for Kafka基于统一身份认证服务（Identity and Access
获取Kafka开源客户端 Kafka实例支持多种语言的客户端，如果您想要使用其他语言连接Kafka实例，可以从Kafka官网获取客户端。 Kafka官网支持的客户端语言包括：C/C++、Python、Go、PHP、Node.js等等。 Kafka实例完全兼容开源客户端，按照Kafka
Kafka数据迁移概述 Kafka迁移指将生产与消费消息的客户端切换成连接新Kafka，部分还涉及将持久化的消息文件迁移到新的Kafka。主要涉及到以下2类场景： 业务上云且不希望业务有中断。 在上云过程中，连续性要求高的业务，需要平滑迁移，不能有长时间的中断。 在云上变更业务部署
Kafka支持哪些加密套件？ 由于安全问题，2021年3月20日前以及当天创建的实例，支持的加密套件为TLS_ECDHE_ECDSA_WITH_AES_128_CBC_SHA256，TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA256和TLS_ECDHE_RSA_WITH_AES
如何修改安全协议？ Kafka实例的安全协议包括SASL_SSL和SASL_PLAINTEXT。 未开启IPv6的实例，安全协议支持在控制台修改。先在Kafka实例的详情页的“连接信息”区域，关闭密文接入，然后再开启密文接入，此时可以重新设置安全协议。 已开启IPv6的实例，实例创建后
配置Kafka流控 Kafka支持对用户/客户端/Topic配置流量控制，控制生产/消费消息的上限速率。 用户/客户端的流控作用范围是整个Broker，Topic的流控作用范围是指定Topic。 约束与限制 2022年11月10日及以后创建的实例支持此功能。 单机实例不支持配置流控
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章节主要介绍
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况
配置Kafka实例标签 标签是Kafka实例的标识，为Kafka实例添加标签，可以方便用户识别和管理拥有的Kafka实例资源。 您可以在创建Kafka实例时添加标签，也可以在Kafka实例创建完成后，在“标签”页面添加标签，您最多可以给实例添加20个标签。另外，您还可以删除标签。
如何查看堆积消息数？ 通过以下任意一种方法，查看堆积消息数。 在Kafka控制台的“消费组管理”页面，单击待查看堆积消息的消费组名称，进入消费组详情页。在“消费进度”页签，查看消费组中每个Topic的总堆积数。具体步骤，请参考查看消费进度。 在Kafka控制台的“监控与告警 > 监控详情
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
