检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
心跳失败，进入Rebalance状态。 解决方法：如果存在长时间FullGC的情况，需要您排查客户端相关问题（FullGC可能是客户端存在内存泄露）。 场景二：消费者消费时间间隔过长 排查思路： 检查单条消息的处理时间是多久，处理max.poll.records条消息会不会超过max
创建Topic，否则会连接失败。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本，确保Kafka实例版本与命令行工具版本相同。 已在服务器中安装Java Development
使用VPCEP实现跨VPC访问Kafka Kafka客户端和Kafka实例在同一区域的不同VPC中，由于VPC之间逻辑隔离，Kafka客户端和Kafka实例不能直接通信。您可以通过以下任意一个方式实现跨VPC访问： 创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问。具体步骤请参考对等连接。
单机和集群Kafka实例差异概述 单机实例是分布式消费服务Kafka版提供的单代理实例，只适用体验和业务测试场景，无法保证性能和可靠性。如果需要在生产环境使用Kafka实例，建议购买集群实例。 单机实例和集群实例支持的特性和功能有部分差异，具体如表1所示。 表1 单机实例和集群实例的差异说明
使用DNAT实现公网访问Kafka 您可以通过以下任意一个方式实现公网访问： 在Kafka实例控制台开启公网访问，使用弹性IP地址连接Kafka实例，具体请参考配置Kafka实例的公网访问。 使用DNAT通过端口映射方式，将弹性IP地址映射到Kafka实例指定端口，实现Kafka实例对公网提供服务。
Kafka集群实例 Kafka集群实例规格 Kafka集群实例由三个及以上代理组成，兼容开源Kafka 1.1.0、2.7和3.x。 TPS（Transaction per second），在Kafka场景中，指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能，是指以1
Kafka体验版使用说明 Kafka体验版实例规格为EXP，为单代理实例，不支持Kafka Manager、Smart Connect和多AZ等功能。 Kafka体验版实例只适用体验和业务测试场景，无法保证性能和可靠性。如果需要在生产环境使用Kafka实例，建议购买按需或包年包月的Kafka实例。
以及Maven所需的settings.xml文件。 修改Kafka配置信息。 以生产消息为例，具体修改请参考生产消息配置文件。 在IDEA工具的左下角，打开Terminal窗口，执行mvn test命令体验demo。 图4 IDEA的Terminal窗口位置 生产消息会得到以下回显信息：
op等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。
容灾和多活 根据对数据与服务的不同可靠性要求，您可以选择在单可用区内（单机房）部署Kafka实例，或跨可用区（同城灾备）部署，也可以通过数据同步工具（MirrorMaker）进行跨实例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本
则无效。 当副本数为1时，不能选择同步复制功能。 同步落盘 表示生产的每条消息都会立即写入磁盘，可靠性更高。关闭同步落盘后，生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下： CreateTime：生产者创建消息的时间。 LogAppen
入到本地日志后，就马上向客户端发送写入成功的消息，不需要等待所有Follower副本复制完成。 同步落盘 选择“不开启”，即生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 选择“CreateTime”，即生产者创建消息的时间。 批处理消息最大值（字节） Kafka允许的
apache.kafka.common.serialization.StringSerializer #producer可以用来缓存数据的内存大小 buffer.memory=33554432 #重试次数 retries=0 ####################### #如果不使用密文接入，以下参数请注释掉。
为什么限制Topic的总分区数？ Kafka以分区为粒度管理消息，分区多导致生产、存储、消费都碎片化，影响性能稳定性。在使用过程中，当Topic的总分区数达到上限后，用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同，如下表所示。 表1 Kafka集群实例规格 规格名称
迁移结束。 常见问题：如何将持久化数据也一起迁移 如果需要将原Kafka的已消费数据也迁移到Kafka实例，可以使用Smart Connect工具，模拟成原Kafka的消费客户端，以及新Kafka实例的生产客户端，将Kafka所有消息数据迁移到新的Kafka实例，具体步骤请参考配置Kafka间的数据复制。
时间以及消息正文。 支持区域： 全部 如何查询消息？ Kafka Manager管理 Kafka Manager是开源的Kafka集群管理工具，您可以通过浏览器访问Kafka Manager。在Kafka Manager页面，您可以查看Kafka集群的监控、节点等信息。 支持区域：
按需计费 按需计费是一种先使用再付费的计费模式，适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费Kafka实例的计费规则。 适用场景 按需计费适用于具有不能中断的短期、突增或不可预测的应用或服务，例如电商抢购、临时测试、科学计算。 适用计费项 分布式消息服务Kafka版对
查看Kafka消息 您可以查看指定Topic不同分区的偏移量、消息大小、创建时间以及消息正文。 约束与限制 当Topic中的数据量比较大时，单副本Topic查询消息可能会报“内部服务错误”，建议根据数据量适当减小查询时间范围。 使用消息内容查询消息时，由于查询资源和性能限制，最大
【下线公告】华为分布式消息服务Kafka版2.3.0版本停售公告 华为云计划于2023/05/05 00:00（北京时间）停售分布式消息服务Kafka版2.3.0版本。 下线范围 下线区域：所有区域 下线影响 该版本停售后，新用户将无法进行购买，已购买该版本的用户不受影响，可继续使用扩容等功能。
修改Kafka Topic分区数 创建Kafka实例Topic成功之后，您可以根据业务需要修改Topic的分区数。修改分区数，不会重启实例，不会影响业务。 修改Topic分区数的方法如下： 在控制台修改Topic分区数 在Kafka Manager修改Topic分区数 在客户端修改Topic分区数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
