检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不同集群间的数据同步，可以确保Kafka集群的可用性和可靠性。 备份和容灾：企业存在多个数据中心，为了防止其中一个数据中心出现问题，导致业务不可用，会将集群数据同步备份在多个不同的数据中心。 集群迁移：当今很多企业将业务迁移上云，迁移过程中需要确保线下集群和云上集群的数据同步，保证业务的连续性。
例前，请先创建开启弹性公网IP的ECS、安装JDK、配置环境变量以及下载Kafka开源客户端。 登录管理控制台，在左上角单击，选择“计算 > 弹性云服务器”，创建一个ECS实例。 创建ECS的具体步骤，请参考购买弹性云服务器。如果您已有可用的ECS，可重复使用，不需要再次创建。 使用root用户登录ECS。
在创建Kafka实例时，需要配置订购的产品ID（即product_id），可通过该接口查询产品规格。 例如，要订购按需计费、基准带宽为100MB的Kafka实例，可从接口响应消息中，查找Hourly的消息体，然后找到bandwidth为100MB的记录对应的product_id，该product_id的值即是
删除Topic会导致Topic中的数据也被删除，并且无法找回，同时会影响使用该Topic的相关业务。 已开启密文接入的实例，“allow.everyone.if.no.acl.found”设置为“false”时，初始用户（即首次开启密文接入时设置的用户）可以通过客户端删除Topi
即Kafka集群架构设计中的单个Kafka进程，一个Kafka进程对应一台服务器，因此手册中描述的代理，还包括对应的存储、带宽等服务器资源。 分区（Partition） 为了实现水平扩展与高可用，Kafka将Topic划分为多个分区，消息被分布式存储在分区中。 副本（Replica） 消息的备份存储
网访问，访问实例前，需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组？ 是，如果保留了创建安全组后，系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则，则无需添加其他规则。否则，请添加表1所示规则。 表1
__consumer-group-dial-test [root@ecs-kafka bin]# 已开启密文接入的Kafka实例，通过以下步骤查询消费组列表。 （可选）修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议，两种安全协议对应的配置文件设置有所不同，请根据实际情况配置。
如果消费组中存在正在连接Kafka实例的消费者，可查看消费组中该消费者的连接信息。 约束与限制 Kafka Manager由于缓存原因，显示的消费者连接地址可能不是当前消费者连接地址，建议重启Kafka Manager解决。 2023年5月17日及以后创建的实例不提供Kafka Manager功能，不支持在Kafka
fka控制台的“基本信息 > 连接信息”中，获取Kafka实例的连接地址。 topic-name：Topic名称。 number-of-partitions：Topic的分区数。出于性能考虑，建议单个Topic的分区数设置为200以内。 示例如下： [root@ecs-kafka
消费进度表示消费者的消费位置，本章节介绍如何查看和重置消费进度，重置消费进度即修改消费者的消费位置。 操作视频 本视频演示重置Kafka消费进度的操作。 约束与限制 重置消费进度可能会导致重复消费，请谨慎操作。 前提条件 Kafka实例不支持在线重置消费进度，请先将待重置消费进度的消费组停
在Kafka实例重启过程中，客户端的生产与消费消息等请求会被拒绝。 在客户端配置重试机制，避免因为重启实例导致的业务断连。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态，才能执行重启操作。 重启Kafka实例 登录管理控制台。 在管理控制台左上角单击，选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件
Trace Service，CTS），您可以记录与分布式消息服务Kafka版相关的操作事件，便于日后的查询、审计和回溯。 前提条件 已开通CTS。 CTS支持的DMS for Kafka操作 表1 云审计服务支持的DMS for Kafka操作列表 操作名称 资源类型 事件名称 创建DMS实例订单成功
营安全，以及更广义的安全合规遵从。 租户：负责云服务内部的安全，安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全
考一键告警。 返回Kafka实例的“一键告警”页面，单击，查看告警规则的状态已变为“开启”。 该Kafka实例所在Region中如果存在其他Kafka实例，也会开启对应的告警规则。 查看Kafka实例告警规则 以下步骤指导您查询指定Kafka实例的所有告警规则。 登录管理控制台。
用CRT格式的证书。 sasl_mechanism：SASL认证机制。在Kafka实例控制台的基本信息页面中获取。如果SCRAM-SHA-512和PLAIN都开启了，根据实际情况选择其中任意一种配置连接。很久前创建的Kafka实例在详情页如果未显示“开启的SASL认证机制”，默认使用PLAIN机制。
280000 840000 结论：在Topic相同的情况下，生产消息到规格相同、磁盘类型不同的Kafka实例，超高I/O的实例TPS高于高I/O的实例TPS。 测试场景五（不同分区数）：相同的实例（超高I/O、3个代理、未开启SASL），不同分区数的Topic，测试结果如下： 表7 测试结果
检查Consumer和Producer的配置 查看日志，检查Consumer和Producer初始化时打印的参数是否符合预期，是否和自己在配置文件中设置的一致。 如果不一致，请检查配置文件的写法。 Java客户端常见报错 未关闭域名校验 出现下图的错误信息： 解决方案：检查consumer
String Broker的最大个数。 max_storage_per_node String 每个节点的最大存储。单位为GB。 max_consumer_per_broker String 每个Broker的最大消费者数。 min_broker String Broker的最小个数。 ma
如何选择Kafka实例的存储空间？ Kafka实例的超高IO和高IO如何选择？ 如何选择Kafka实例存储容量阈值策略？ Kafka服务端支持版本是多少？ Kafka实例的ZK地址是什么？ 创建的Kafka实例是集群模式么？ Kafka实例是否支持修改访问端口？ Kafka实例的SSL证书有效期多长？
connection-address：在Kafka控制台的“基本信息 > 连接信息”中，获取Kafka实例的连接地址。 number-of-partitions：Topic的分区数。出于性能考虑，建议单个Topic的分区数设置为200以内。 number-of-replicas：Topic的副本数。 示例如下： [root@ecs-kafka
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
