检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不同集群间的数据同步，可以确保Kafka集群的可用性和可靠性。 备份和容灾：企业存在多个数据中心，为了防止其中一个数据中心出现问题，导致业务不可用，会将集群数据同步备份在多个不同的数据中心。 集群迁移：当今很多企业将业务迁移上云，迁移过程中需要确保线下集群和云上集群的数据同步，保证业务的连续性。
本文汇总了基于分布式消息服务Kafka版常见应用场景的操作实践，为每个实践提供详细的方案描述和操作指导，帮助用户轻松使用Kafka。 表1 Kafka最佳实践一览表 最佳实践 说明 提高Kafka消息处理效率 本章节提供了生产者和消费者对于消息的使用建议，以提高消息发送和消息消费的效率与可靠性。 优化消费者轮询（Polling）
返回一个资源特征与地址的列表用于用户终端（例如：浏览器）选择。 301 Moved Permanently 永久移动，请求的资源已被永久的移动到新的URI，返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。
返回结果 状态码 请求发送以后，您会收到响应，包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码，状态码表示了请求响应的状态，完整的状态码列表请参见状态码。 对于管理员创建IAM用户接口，如果调用后返回状态码为“201”，则表示请求成功。 响应消息头 对应请
以下为您提供常用Golang客户端的对比，具体参见表1。 表1 常用Golang客户端对比 客户端 优点 缺点 Confluent-Kafka-go Confluent-Kafka-go是由Confluent提供的官方Kafka客户端库，与Kafka完全兼容，支持所有的Kafka特性。
replicas指定必须确认写入才能被认为成功的副本的最小数量。 retries 0 结合实际业务调整 客户端发送消息的重试次数。值大于0时，这些数据发送失败后，客户端会重新发送。 注意，这些重试与客户端接收到发送错误时的重试没有什么不同。允许重试将潜在的改变数据的顺序，如果这两个消息记录都是发
如果您需要长期使用当前按需购买的Kafka实例，可以将该Kafka实例转为包年/包月计费模式，以节省开支。按需计费变更为包年/包月会生成新的订单，用户支付订单后，包年/包月资源将立即生效。 假设用户于2023/04/18 15:29:16购买了一个按需计费的Kafka实例，由于业务需要，于2023/04/18
在诊断记录所在行，单击“查看详情”，进入“诊断详情”页面。 在页面顶部查看消息组异常项、失败项和正常项的数量。在“诊断维度”区域，单击包含异常项的维度名称，例如：重平衡，查看导致异常的可能原因、受影响的分区或者broker，以及解决消息堆积的建议。 图3 诊断详情 父主题： 管理消息
Election：强制进行一次队列leader的最优选举（不建议用户操作）。 Reassign Partitions：进行分区副本的重分配（不建议用户操作）。 Consumers：统计集群中的消费组状态。 图中②区域表示集群信息统计，包含集群的Topic数和集群的代理数。 图3 集群信息页 集群所有代理统计页
消费者是从Topic订阅消息的一方，消费组是由一个或多个消费者组成的。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 图1 消费关系示例图 “auto.create.groups.enable”表示在消费者进入未创建的消费组时，会自动创建此消费组。
1年3月20日后创建的实例，支持的加密套件为TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256。 2020年7月以及之后购买的实例，Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个，在此之前购买的实例，Kafka实例的每个代理允许客户端单
在“通知策略”后，单击，然后在下拉框中选择新创建的通知策略。 图6 设置通知策略 单击“确定”，完成告警规则的设置。 告警规则创建完成后，在云监控服务的“告警 > 告警规则”界面，查看新创建的告警规则。 图7 查看新创建的告警规则
通过以下几个场景，测试不同实例规格的TPS。 测试场景一（实例是否开启SASL）：相同的Topic，实例分为开启SASL和未开启SASL 测试场景二（同步/异步复制）：相同的实例，不同复制机制的Topic 测试场景三（是否同步落盘）：相同的实例，不同落盘机制的Topic 测试场景四（不同
String 否 实例名称。 由英文字符开头，只能由英文字母、数字、中划线组成，长度为4~64的字符。 description String 否 实例的描述信息。 长度不超过1024的字符串。 说明： \与"在json报文中属于特殊字符，如果参数值中需要显示\或者"字符，请在字符前增加转义字符\，比如\\或者\"。
Kafka不能保证消费重复的消息，业务侧需保证消息处理的幂等性。 消费线程退出要调用consumer的close方法，避免同一个组的其他消费者阻塞session.timeout.ms的时间。 消费组名称开头不使用特殊字符（如#），使用特殊字符可能会导致云监控无法展示此消费组的监控数据。 producer使用建议
单击“确定”，完成为用户的授权。 完成授权后，进入Topic列表页面，在Topic名称前单击，查看已经授权的用户及其对应的权限。 图4 查看已经授权的用户及其对应的权限 删除Topic权限 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件
配置Kafka的SSL双向认证 SSL双向认证是指在通信认证时，将同时验证客户端和服务端的证书，以确保通信中涉及的双方都是受信任的。 开启SSL双向认证，主要用于对安全性要求较高的场景。 SSL双向认证为白名单特性，需要联系后台管理人员开通后方可使用。 开启/关闭SSL双向认证将重启实例，请谨慎操作。
制作和替换Kafka的SSL证书 SSL证书的作用是在客户端和Kafka实例进行数据传输时对数据加密传输，提高了数据的安全性。 Kafka客户端连接开启密文接入且Kafka安全协议为“SASL_SSL”的Kafka实例时，您可以使用分布式消息服务Kafka版提供的证书，也可以使用自
2以上时，支持通过kafka-topics.sh删除Topic。 已开启密文接入的实例，“allow.everyone.if.no.acl.found”设置为“false”时，无法通过客户端删除Topic。 未开启密文接入的Kafka实例，在Kafka客户端的“/bin”目录下，通过以下命令删除Topic。
对于管理员创建IAM用户接口，您可以从接口的请求部分看到所需的请求参数及参数说明，将消息体加入后的请求如下所示，其中加粗的字段需要根据实际值填写。 accountid为IAM用户所属的账号ID。 username为要创建的IAM用户名。 email为IAM用户的邮箱。 **********为IAM用户的登录密码。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
