检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ka实例。 支持区域： 全部 购买Kafka实例 连接Kafka 开源Kafka客户端向Kafka实例生产消息和消费消息前，需要先连接Kafka实例。 创建Kafka实例时，支持开启或者关闭SASL_SSL。开源Kafka客户端连接开启SASL_SSL的Kafka实例，与连接未开
分布式消息服务Kafka版完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 您只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云 兼
使用前必读 欢迎使用分布式消息服务Kafka版。分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用分布式消息服务Kafka版，资源按需申请，按需配置Topic的分区与副本数量，即买即用，您将有
规则。 构建生产消费客户端。 本文以Linux系统的弹性云服务器（Elastic Cloud Server，简称ECS）作为生产消费客户端。在创建Kafka实例前，请先创建开启弹性公网IP的ECS、安装JDK、配置环境变量以及下载Kafka开源客户端。 登录管理控制台，在左上角单击，选择“计算
消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用华为云分布式消息服务Kafka版，资源按
配置SSL双向认证流程图 前提条件 已准备一台Linux系统的服务器，并安装Java Development Kit 1.8.111或以上版本，配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。 步骤一：制作客户端验证服务端的证书 登录Linux系统的服务器，执行以下命令，生成server
oop等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。
3 12 topic-06 否 否 3 100 获取测试工具。 获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器（区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致，Linux系统），具体步骤请参考购买弹性云服务器。 购买完成ECS后，需要在ECS中完成以下配置：
Topic-03：3分区3副本，同步复制 获取测试工具。 获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买如下参数的2台ECS服务器，具体步骤请参考购买弹性云服务器。 区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致，规格为4U8G，Linux系统的ECS。 区域、虚拟私
ms/Kafka服务端节点数”。 修改Kafka客户端的“request.timeout.ms”大于“127s”。 修改Kafka客户端Linux系统的网络参数“net.ipv4.tcp_syn_retries”为“3”。
环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制，方法如下： 生产客户端为Kafka开源客户端时，检查是否配置retries参数，建议此参数值设置为3~5。 生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。
容灾和多活 根据对数据与服务的不同可靠性要求，您可以选择在单可用区内（单机房）部署Kafka实例，或跨可用区（同城灾备）部署，也可以通过数据同步工具（MirrorMaker）进行跨实例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本
分布式消息服务Kafka版 分布式消息服务Kafka版（Distributed Message Service for Kafka）是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 免费体验 图说Kafka 立即使用 成长地图
环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制，方法如下： 生产客户端为Kafka开源客户端时，检查是否配置retries参数，建议此参数值设置为3~5。 生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。
替换证书将重启实例，请谨慎操作。 前提条件 已准备一台Linux系统的服务器，并安装Java Development Kit 1.8.111或以上版本，配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。 步骤一：制作证书 登录Linux系统的服务器，执行以下命令，生成server
以及Maven所需的settings.xml文件。 修改Kafka配置信息。 以生产消息为例，具体修改请参考生产消息配置文件。 在IDEA工具的左下角，打开Terminal窗口，执行mvn test命令体验demo。 图4 IDEA的Terminal窗口位置 生产消息会得到以下回显信息：
储、消费都碎片化，影响性能稳定性。在使用过程中，当Topic的总分区数达到上限后，用户无法继续创建Topic。 单个Topic分区数 按照开源Kafka现有逻辑，单个Topic分区数只支持增加，不支持减少。 出于性能考虑，建议单个Topic的分区数设置为200以内。 Topic数量
目业务中，让各责任组织及时了解各自的成本情况。 华为云成本中心支持通过多种不同的方式对成本进行归集和重新分配，您可以根据需要选择合适的分配工具。 通过关联账号进行成本分配 企业主客户可以使用关联账号对子客户的成本进行归集，从而对子账号进行财务管理。详细介绍请参见通过关联账号维度查看成本分配。
环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制，方法如下： 生产客户端为Kafka开源客户端时，检查是否配置retries参数，建议此参数值设置为3~5。 生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。
迁移结束。 常见问题：如何将持久化数据也一起迁移 如果需要将原Kafka的已消费数据也迁移到Kafka实例，可以使用Smart Connect工具，模拟成原Kafka的消费客户端，以及新Kafka实例的生产客户端，将Kafka所有消息数据迁移到新的Kafka实例，具体步骤请参考配置Kafka间的数据复制。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
