检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例版本在控制台和Kafka Manager上显示不一致? Kafka实例的版本以控制台为准。Kafka Manager使用了开源Kafka 2.2.0的公共信息配置,所以显示的版本是2.2.0,和购买的Kafka实例版本没有关系。 父主题: Kafka Manager问题
有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况,业务数据不均衡会降低Kafka集群的性能,降低资源使用率。
储空间等资源将会自动释放,数据也可能会丢失。续费包括手动续费和自动续费两种方式,您可以根据需求选择。了解更多关于续费的信息,请参见续费概述。 费用账单 您可以在“费用中心 > 账单管理”查看与Kafka实例相关的流水和明细账单,以便了解您的消费情况。如需了解具体操作步骤,请参见费用账单。
数据保护技术 DMS for Kafka通过多种数据保护手段和特性,保障DMS for Kafka的数据安全可靠。 表1 DMS for Kafka的数据保护手段和特性 数据保护手段 简要说明 详细介绍 容灾和多活 根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房
容易导致磁盘写满。 实施步骤 CPU使用率高的处理措施: 优化线程参数num.io.threads、num.network.threads和num.replica.fetchers的配置。 num.io.threads和num.network.threads建议配置为磁盘个数的倍数,但不能超过CPU核数。
consumer不能频繁加入和退出group,频繁加入和退出,会导致consumer频繁做rebalance,阻塞消费。 同一消费组内consumer数量不能超过该消费组订阅的分区总数,否则会有consumer拉取不到消息。 consumer需周期poll,维持和server的心跳,避
场景描述 您可以根据业务需要创建相应计算能力和存储空间的Kafka实例。 API调用方法请参考如何调用API。 前提条件 已获取IAM的Endpoint,具体请参见地区和终端节点。 已获取Kafka的Endpoint,具体请参见地区和终端节点。 创建Kafka实例 如下示例是创建Kafka实例的请求消息:
ms的默认配置,降低问题频率。 问题解决措施 区分业务使用不同消费组。 需要客户侧排查自身业务,优化自身业务处理逻辑,提高处理效率,降低阻塞时间。 背景知识介绍 消费组可以简单认为有两种状态REBALANCING和STABILIZED。 REBALANCING:消费组元数据发生变化,该状态下消费
设置SASL认证机制、账号和密码。 ## spring.kafka.properties.sasl.mechanism为SASL认证机制,username和password为SASL的用户名和密码,参考“收集连接信息”章节获取。为了确保用户名和密码的安全性,建议对用户名和密码进行加密处理,使用时解密。
RabbitMQ基于AMQP协议实现。 跨语言支持 支持多语言的客户端。 采用Scala和Java编写,支持多种语言的客户端。 支持多种语言的客户端。 流量控制 RocketMQ 5.x支持基于实例规格的流量控制。 支持client、user和Topic级别,通过主动设置可将流控作用于生产者或消费者。 R
等信息。 支持区域: 全部 连接和查看Kafka Manager 重置Kafka Manager密码 重启Kafka Manager Smart Connect管理 分布式消息服务Kafka版通过开启Smart Connect,实现Kafka实例和其他云服务(如OBS)之间的数据
约束与限制 本章节介绍分布式消息服务Kafka版产品功能的约束和限制,您在使用Kafka实例时注意不要超过相应的约束和限制,以免程序出现异常。 如果因为您的实例配置超过相应的约束和限制而导致的任何不稳定情况,不在SLA承诺和赔偿范围内。 实例 表1 实例约束与限制 限制项 约束与限制
查看Kafka生产消费示例代码 分布式消息服务Kafka版支持在控制台查看Java、Go和Python语言的生产消费消息示例代码,您可以参考示例代码快速完成Kafka客户端的集成,并进行消息的生产和消费。 查看Kafka生产消费示例代码 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
监控安全风险 DMS for Kafka提供基于云监控服务CES的资源和操作监控能力,帮助用户对每个Kafka实例进行自动实时监控、告警和通知操作。用户可以实时掌握实例的各类业务请求、资源占用、流量、连接数和消息积压等关键信息。 关于DMS for Kafka支持的监控指标,以及
Integer 本次修改动态配置参数个数。 static_config Integer 本次修改静态配置参数个数。 请求示例 修改实例的连接空闲超时和日志删除的时间阈值。 PUT https://{endpoint}/v2/{project_id}/instances/{instance_id}/configs
将签名信息添加到消息头,从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。
提高Kafka消息处理效率 消息发送和消费的可靠性必须由分布式消息服务Kafka版和生产者以及消费者协同工作才能保证。同时开发者需要尽量合理使用分布式消息服务Kafka版的Topic,以提高消息发送和消息消费的效率与准确性。 对使用分布式消息服务Kafka版的生产者和消费者有如下的使用建议:
同步,可以确保Kafka集群的可用性和可靠性。 备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。 集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群和云上集群的数据同步,保证业务的连续性。
服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录DMS for Kafka的管理事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 CTS支持追踪的DMS
Kafka体验版实例规格为EXP,为单代理实例,不支持Kafka Manager、Smart Connect和多AZ等功能。 Kafka体验版实例只适用体验和业务测试场景,无法保证性能和可靠性。如果需要在生产环境使用Kafka实例,建议购买按需或包年包月的Kafka实例。 Kafka体验