检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
警，避免7*24小时人工值守。Kafka实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置
以需要获取到项目ID。有如下两种获取方式： 调用API获取项目ID 从控制台获取项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”，其中{Endp
实例管理类接口 创建Kafka实例 查询指定实例 修改实例信息 删除指定实例 批量重启、删除实例 查询所有实例列表 Kafka实例创建Topic Kafka实例查询Topic Kafka实例批量删除Topic 父主题： API V1
cluster*3规格的实例分区数上限为750，此时无法缩容。 变更代理规格的时长和代理数量有关，单个代理的变更时长一般在5~10分钟，代理数量越多，规格变更时间越长。 父主题： 实例规格变更问题
过程，请参见计费样例。 续费 包年/包月Kafka实例在到期后会影响Kafka实例的正常运行。如果您想继续使用Kafka实例，需要在规定的时间内为Kafka实例进行续费，否则Kafka实例、磁盘存储空间等资源将会自动释放，数据也可能会丢失。续费包括手动续费和自动续费两种方式，您可
分区leader副本的LSO（Log Start Offset）。 last_update_timestamp long 分区上次写入消息的时间。 replicas Array of object replicas 副本列表。参数查看表4。 表4 replicas参数说明 参数 类型
SmartConnect任务的id。 status String SmartConnect任务的状态。 create_time Long SmartConnect任务的创建时间。 表3 SmartConnectTaskRespSourceConfig 参数 参数类型 描述 redis_address String
该指标用于统计消费组指定队列可以消费的消息个数。 出现该告警时，首先排查消费者代码逻辑是否有误，例如消费者出现了异常不再消费等。其次，可以考虑加快消息的消费，例如增加队列消费者，并确保分区数大于或等于消费者数。 配置Kafka告警规则 以下步骤指导您配置指定Kafka实例的告警规则。
消息删除后无法恢复，请谨慎操作。 前提条件 删除消息前，请先在消费代码中设置“auto.offset.reset”参数。“auto.offset.reset”用来指定当Kafka中没有初始偏移量或者当前偏移量不存在（例如当前偏移量已被删除）时，消费者的消费策略。取值如下： latest：偏移量自动被重置到最晚偏移量。
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。
弹性IP地址连接Kafka实例，具体请参考配置Kafka实例的公网访问。 使用DNAT通过端口映射方式，将弹性IP地址映射到Kafka实例指定端口，实现Kafka实例对公网提供服务。 本章节主要介绍使用DNAT实现公网访问Kafka。 前提条件 已购买弹性公网IP，弹性公网IP的
阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图3 消息队列应对秒杀大流量场景 日志同步 在大型
是否为contoller节点。 version String 服务端版本。 register_time Long broker注册时间，为unix时间戳格式。 is_health Boolean Kafka实例节点的连通性是否正常。 请求示例 GET https://{endpo
finished：诊断完成 normal：诊断结果正常 abnormal：诊断结果异常 begin_time String 诊断任务开始时间 end_time String 诊断任务结束时间 group_name String 该次诊断任务诊断的消费组名称 topic_name String 该次诊断任务诊断的topic名称
业务数据不均衡原因 业务中部分Topic的流量远大于其他Topic，会导致节点间的数据不均衡。 生产者发送消息时指定了分区，未指定的分区没有消息，会导致分区间的数据不均衡。 生产者发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，会导致分区间的数据不均衡。 系统重新实现了分区分
如果需要对用户进行流量控制，请在Kafka详情页开启密文接入功能。然后在控制台的“用户管理”页面，获取用户名。 如果需要对指定客户端进行流量控制，请在客户端配置中获取client ID。 如果需要对指定Topic进行流量控制，请在控制台的“Topic管理”页面，获取Topic名称。 创建用户/客户端流控
实例管理 新增Kafka实例指定Topic分区 父主题： API V2
消费组管理 重置消费组消费进度到指定位置 查询所有消费组 父主题： API V2
生命周期管理 查询指定实例 父主题： API V2
SmartConnect任务的id。 status String SmartConnect任务的状态。 create_time Long SmartConnect任务的创建时间。 表5 SmartConnectTaskRespSourceConfig 参数 参数类型 描述 redis_address String
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
