检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
典型应用场景 Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消
使用前必读 欢迎使用分布式消息服务Kafka版。分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用分布式消息服务Kafka版，资源按需申请，按需配置Topic的分区与副本数量，即买即用，您将有
影响Kafka实例持续提供服务。 审计是否存在异常数据访问 开启云审计服务，记录Kafka的所有访问操作，便于事后审查。 云审计服务（Cloud Trace Service，CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于
返回结果 状态码 请求发送以后，您会收到响应，包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码，状态码表示了请求响应的状态，完整的状态码列表请参见状态码。 对于管理员创建IAM用户接口，如果调用后返回状态码为“201”，则表示请求成功。 响应消息头 对应请
方案架构 Kafka实例作为Logstash输出源的示意图如下。 图1 Kafka实例作为Logstash输出源 Logstash从数据库采集数据，然后发送到Kafka实例中进行存储。Kafka实例作为Logstash输出源时，由于Kafka的高吞吐量，可以存储大量数据。 K
records on each page for pagination query exceeds the upper limit. 分页查找的分页大小超出范围。 请检查分页大小 400 DMS.10240043 The number of skipped records for
servers=${连接地址} acks=1 batch.size=16384 linger.ms=10 --topic ${Topic名称} --num-records 10000000 --record-size 1024 --throughput -1 --producer.config ../config/producer
看Kafka实例各项监控指标。 支持区域： 全部 监控指标有哪些？ 必须配置的监控告警有哪些？ 如何查看监控数据？ 审计 云审计服务（Cloud Trace Service，CTS），是华为云安全解决方案中专业的日志审计服务，您可以通过CTS对Kafka实例的操作记录进行收集、存
600000 30000 空连接的超时时间（单位为ms），设置为30000可以在网络异常场景下减少请求卡顿的时间。 max.poll.records 500 需小于max.poll.interval.ms时间内的消费处理能力。 消费者单次从Broker中拉取的最大消息条数。 max.poll
导出Kafka消费组列表 消费组创建成功后，可导出Kafka实例中消费组的列表信息 导出Kafka消费组列表 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。
导出Kafka实例列表 分布式消息服务Kafka版支持在控制台导出实例列表信息，供用户查看和使用。 导出Kafka实例列表 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafk
配置Kafka ACL用户 Kafka实例开启密文接入后，支持对Topic进行ACL（Access Control List）权限管理，您可以在Topic中为不同的用户设置不同的生产消费消息的权限，以达到用户之间的权限隔离。 本章节主要介绍Kafka实例开启密文接入后，如何创建用
修改Kafka Topic副本数 创建Kafka实例Topic成功之后，您可以根据业务需要修改Topic的副本数。 通过修改分区平衡可以实现修改副本数，Kafka控制台提供两种修改副本数的方法：使用自动平衡修改副本数和使用手动平衡修改副本数。 约束与限制 单机实例不支持修改副本数。
配置Kafka数据转储至OBS 本章节介绍如何创建转储的Smart Connect任务，通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中，实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 单机实例不支持创建转储的Smart
创建Kafka消费组 消费者是从Topic订阅消息的一方，消费组是由一个或多个消费者组成的。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 图1 消费关系示例图 “auto.create.groups.enable”表示在消费者进入未创建的消费组时，会自动创建此消费组。
与RabbitMQ、RocketMQ的差异 表1 功能差异 功能项 RocketMQ Kafka RabbitMQ 优先级队列 不支持 不支持 3.8.35版本：支持。建议优先级大小设置在0-10之间。 AMQP-0-9-1版本：支持。优先级大小设置在1-9之间。 延迟队列 支持
手动续费 包年/包月Kafka实例从购买到被自动删除之前，您可以随时在Kafka控制台为Kafka实例续费，以延长Kafka实例的使用时间。 在云服务控制台续费 登录管理控制台。 单击左侧导航栏的图标，选择“应用中间件 > 分布式消息服务Kafka版”。 通过以下任意一种方法，为Kafka实例续费。
访问Kafka Manager Kafka Manager是开源的Kafka集群管理工具，需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面，您可以查看Kafka集群的监控、代理等信息。 2023年5月17日及以后创建的实例不提供Kafka
配置Kafka监控告警 本章节主要介绍部分监控指标的告警策略，以及配置操作。在实际业务中，建议按照以下告警策略，配置监控指标的告警规则。 表1 Kafka实例的告警策略和处理建议 指标ID 指标名称 测量对象 告警策略 指标说明 告警处理建议 broker_disk_usage 磁盘容量使用率
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
