检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文介绍Maven方式引入Kafka客户端，并完成Kafka实例连接以及消息生产与消费的相关示例。如果您需要在IDE中查看Demo具体表现，请查看Java开发环境搭建。 下文所有Kafka的配置信息，如实例连接地址、Topic名称、用户信息等，请参考收集连接信息获取。 Maven中引入Kafka客户端 //Kafka实例基于社区版本1
进度由消费者客户端自行维护，消费者客户端从消费源端Kafka实例变为消费目标端Kafka实例后，不向目标端Kafka实例获取消费进度，可能会导致offset错误或消费进度重置。 副本数 在对端实例中自动创建Topic时，指定Topic的副本数，此参数值不能超过对端实例的代理数。 如果对端实例中设置了“default
Connect任务详情页面。 查看Smart Connect任务的基本信息、源端信息和目标端信息。 如果Smart Connect任务没有配置源端信息/目标端信息，在Smart Connect任务详情页面不显示源端信息/目标端信息。 删除Smart Connect任务 登录管理控制台。 在管理控制台左上角单击，选择区域。
"heartbeats", "B.checkpoints.internal" and # "mm2-offset-syncs.B.internal" # 测试环境可以为1，生产环境建议以下配置大于1，比如设为3 checkpoints.topic.replication.factor=3 heartbeats
的规则。 构建生产消费客户端。 本文以Linux系统的弹性云服务器（Elastic Cloud Server，简称ECS）作为生产消费客户端。在创建Kafka实例前，请先创建开启弹性公网IP的ECS、安装JDK、配置环境变量以及下载Kafka开源客户端。 登录管理控制台，在左上角单击，选择“计算
Go 本文以Linux CentOS环境为例，介绍Go 1.16.5版本的Kafka客户端连接指导，包括demo代码库的获取，以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 执行以下命令，检查是否已安装Go。 go version 返回如下回显时，说明Go已经安装。
删除Kafka Topic（Kafka客户端） Kafka客户端版本为2.2以上时，支持通过kafka-topics.sh删除Topic。 已开启密文接入的实例，“allow.everyone.if.no.acl.found”设置为“false”时，无法通过客户端删除Topic。 未开启密文接
批量重启或删除实例 功能介绍 批量重启或删除实例。 在实例重启过程中，客户端的生产与消费消息等请求会被拒绝。 实例删除后，实例中原有的数据将被删除，且没有备份，请谨慎操作。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/action
0以内。 在客户端修改Topic分区数 Kafka客户端版本为2.2以上时，支持通过kafka-topics.sh修改Topic分区数。 已开启密文接入的实例，“allow.everyone.if.no.acl.found”设置为“false”时，无法通过客户端修改Topic分区数。
分布式消息服务Kafka版支持在控制台查看Java、Go和Python语言的生产消费消息示例代码，您可以参考示例代码快速完成Kafka客户端的集成，并进行消息的生产和消费。 查看Kafka生产消费示例代码 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。
创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问。具体步骤请参考VPC对等连接说明。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道，实现Kafka客户端通过内网访问Kafka实例。具体步骤请参考使用VPCEP实现跨VPC访问Kafka。 父主题： 连接问题
Topic每个分区的副本数量，修改方法请参见修改Kafka Topic副本数。 同步复制 后端收到生产消息请求并复制给所有副本后，才返回客户端。 同步落盘 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下：
批量重启、删除实例 当前页面API为历史版本API，未来可能停止维护。请使用批量重启或删除实例。 功能介绍 批量重启或删除实例。 在实例重启过程中，客户端的生产与消费消息等请求会被拒绝。 实例删除后，实例中原有的数据将被删除，且没有备份，请谨慎操作。 URI POST /v1.0/{proje
位置、消费者ID、消费者地址和客户端ID）。 图1 消费进度 （可选）如果需要查询某个Topic的消费进度，在搜索框中，输入Topic名称，按“Enter”。 查看消费进度（Kafka客户端） 未开启密文接入的Kafka实例，在Kafka客户端的“/bin”目录下，通过以下命令查询消费进度。
Connect迁移业务，会对源端Kafka进行消费，对目标端Kafka进行生产，会占用源端和目标端Kafka的带宽。 出于性能考虑，Smart Connect实时同步源端和目标端的数据，但是消费进度是通过批处理同步的，可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异。 迁移准备
（可选）修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议，两种安全协议对应的配置文件设置有所不同，请根据实际情况配置。 SASL_PLAINTEXT：如果已经设置了用户名和密码，请跳过此步骤，执行2。否则在Kafka客户端的“/confi
Integration Plugin与Kafka客户端的版本对应关系如表1所示。请确保Kafka客户端版本大于或等于Kafka实例的版本。 表1 版本对应关系 Logstash版本 Kafka Integration Plugin版本 Kafka客户端版本 8.3~8.8 10.12.0 2
实例连接地址与端口 实例创建后，从Kafka实例控制台的基本信息页面中获取。 如果Kafka实例为集群部署，至少有3个连接地址，在客户端配置时，建议配置所有的连接地址，提高可靠性。 如果开启公网访问，还可以使用基本信息页面下方的公网连接地址访问Kafka实例。 图1 查看Kafka实例Broker连接地址与端口
否，执行2。 参考如下配置安全组规则。 假设客户端和Kafka实例的安全组分别为：sg-53d4、Default_All。以下规则，远端可使用安全组，也可以使用具体的IP地址，本章节以安全组为例介绍。 客户端所在安全组需要增加如下规则，以保证客户端能正常访问Kafka实例。 表2 安全组规则
Unauthorized 在客户端提供认证信息后，返回该状态码，表明服务端指出客户端所提供的认证信息不正确或非法。 402 Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码，表明请求能够到达服务端，且服务端能够理解用户请求，但是拒绝
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
