检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建转储任务 功能介绍 创建转储任务。 当前页面API为历史版本API,未来可能停止维护。请使用开启Smart Connect(按需实例)。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/connectors/{connector_id}/sink-tasks
查询Topic的当前生产者列表 功能介绍 查询Topic的当前生产者列表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/kafka/instances/{instance_id}/topics/{topic}/producers 表1 路径参数
查询消费组信息 当前页面API为历史版本API,未来可能停止维护。请使用查询消费组信息。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/groups/{group} 参数说明如下表所示。 表1 参数说明 参数 类型
消费,如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常(如需要写入后端数据库,后端数据库压力太大,慢SQL,时延增加等)导致消费时间增加,在max.poll.interval.ms时间内消费者没有发起下一次消费请求,br
如何选择Kafka实例存储容量阈值策略? 支持以下两种策略: 生产受限策略 该策略场景下一旦磁盘使用达到容量阈值95%,会导致后续生产失败,但保留了当前磁盘中的数据,直至数据自然老化(Kafka原有的老化机制,数据默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。
用了一段时间后,用户发现Kafka实例当前规格无法满足业务需要,于2023/03/20 9:00:00升配为kafka.4u8g.cluster*3。因为该Kafka实例打算长期使用下去,于2023/03/20 10:30:00将Kafka实例转为包年/包月计费,购买时长为1个月。那么在3~4月份,该Kafka实例总共产生多少费用呢?
剩余周期 公式中的剩余周期为每个自然月的剩余天数/对应自然月的最大天数。本示例中,剩余周期=12(4月份剩余天数)/ 30(4月份最大天数)+ 8(5月份剩余天数)/ 31(5月份最大天数)=0.6581,代入公式可得升配费用=3780*0.6581-1890*0.6581=1243
生产消息数不为0,为什么生产速率为0? 消息生产速率的原始指标数据为每分钟上报一次,但是它的单位为“个/秒”,所以消息生产速率=一分钟内生产的消息数/60,其值向下取整。当一分钟内生产的消息数小于60个时,生产速率会显示为0。 父主题: 监控告警问题
表示该队列当前的消息数据大小。 单击Kafka实例名称,进入实例详情页。在左侧导航栏选择“监控与告警 > 监控详情”,进入监控页面。在“主题”页签中,“主题”选择待查看磁盘空间大小的Topic名称,“监控类型”选择“基本监控”,查看“队列数据容量”,该指标表示该队列当前的消息数据大小。
队列消息总数,当前队列的总消息数 kafka_partitions(kafka分区维度) produced_messages 生产消息数,已经生产的消息数 partition_messages 分区消息数,分区当前的消息数 messages_consumed 分区已消费消息数,当前消费组已经消费的消息个数
查询Kafka集群元数据信息 当前页面API为历史版本API,未来可能停止维护。请使用查询Kafka集群元数据信息。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/cluster 参数说明如下表所示。 表1 参数说明
该指标用于统计队列当前的消息数据大小。 单位:Byte、KB、MB、GB、TB、PB 在“主题”页签,当“监控类型”为“基本监控”时,才包含该指标。 0~5000000000000 Kafka实例队列 1分钟 topic_messages 队列消息总数 该指标用于统计队列当前的消息总数。
Connect任务列表中手动开启任务。 在“当前kafka”区域,设置实例别名。实例别名需要符合命名规则:长度为1~20个字符,只能由英文字母、数字、中划线、下划线组成。 实例别名用于以下两个场景中: 开启“重命名Topic”,且“同步方式”为“推送”/“双向”时,当前Kafka实例的别名作为前缀
批量重启、删除实例 当前页面API为历史版本API,未来可能停止维护。请使用批量重启或删除实例。 功能介绍 批量重启或删除实例。 在实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 实例删除后,实例中原有的数据将被删除,且没有备份,请谨慎操作。 URI POST /v1.0
static void main(String[] args) throws IOException { //创建当前消费组的consumer final KafkaConsumer<String, String> consumer1 = getConsumer();
Kafka实例查询Topic 当前页面API为历史版本API,未来可能停止维护。请使用Kafka实例查询Topic。 功能介绍 该接口用于查询指定Kafka实例的Topic详情。 URI GET /v1.0/{project_id}/instances/{instance_id}/topics
Kafka实例创建Topic 当前页面API为历史版本API,未来可能停止维护。请使用Kafka实例创建Topic。 功能介绍 该接口用于向Kafka实例创建Topic。 URI POST /v1.0/{project_id}/instances/{instance_id}/topics
删除消息前,请先在消费代码中设置“auto.offset.reset”参数。“auto.offset.reset”用来指定当Kafka中没有初始偏移量或者当前偏移量不存在(例如当前偏移量已被删除)时,消费者的消费策略。取值如下: latest:偏移量自动被重置到最晚偏移量。 earliest:偏移量自动被重置到最早偏移量。
Integer 限速,单位为KB/s。-1表示不限速(仅源端类型为Redis时会显示) current_cluster_name String 当前Kafka实例别名。(仅源端类型为Kafka时会显示) cluster_name String 对端Kafka实例别名。(仅源端类型为Kafka时会显示)
Integer 限速,单位为KB/s。-1表示不限速(仅源端类型为Redis时会显示) current_cluster_name String 当前Kafka实例别名。(仅源端类型为Kafka时会显示) cluster_name String 对端Kafka实例别名。(仅源端类型为Kafka时会显示)