检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么Console页面上,消息查询查不到消息? Kafka消息堆积了怎么办? 消息超过老化时间,消息仍存在的原因 Kafka实例是否支持延迟消息? 如何查看堆积消息数? 为什么消息创建时间显示1970? 如何修改message.max.bytes参数? 为什么offset不连续?
r数据的存储,因而实际可用存储会小于购买存储。 其中,副本数在创建Topic时可以选择,默认为3副本存储。如果开启了Kafka自动创建Topic功能,自动创建的Topic默认为3副本,副本数可以通过“配置参数”页签中的“default.replication.factor”修改。
python3 producer.py 运行成功后,返回如下回显。 [root@ecs-test ~]# python3 producer.py start producer end producer [root@ecs-test ~]# 消费消息 在客户端创建一个文件,用于存放消费消息的代码示例。
total Integer 所有的消费组总数。 表4 GroupInfoSimple 参数 参数类型 描述 createdAt Long 创建时间。 group_id String 消费组ID。 state String 消费组状态。包含以下状态: Dead:消费组内没有任何成员,且没有任何元数据。
producer_address String 生产者地址 broker_address String broker地址 join_time Long 加入时间 请求示例 查询Topic的当前生产者列表 GET https://{endpoint}/v2/{project_id}/kafka/in
目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板后,根据具体需求编辑策略内容;也可以直接在编辑框内编写JSON格式的策略内容。
续费 续费概述 手动续费 自动续费
last_offset Long 最后偏移量 message_count Long 分区消息数 last_update_time Long 最近更新时间 请求示例 查询topic的分区列表 GET https://{endpoint}/v2/{project_id}/kafka/insta
修改Kafka Topic分区数 修改Kafka Topic副本数 导出Kafka Topic列表 修改Kafka分区平衡 配置Kafka自动创建Topic 删除Kafka Topic 父主题: 配置Topic
管理消息 查看Kafka消息 修改Kafka消息老化时间 删除Kafka消息 诊断Kafka消息积压
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者? 如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 为什么删除消费组不生效? 实例消费正常,为什么看不到消费者? Kafka可以删除消费组下不用的Topic吗?
可为空。若为定时执行,is_schedule为true,execute_at字段非空。 execute_at 否 Long 定时时间,格式为Unix时间戳,单位为毫秒 响应参数 状态码:200 表3 响应Body参数 参数 参数类型 描述 - String 提交升级任务id 状态码:400
消息管理 查询消息 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最早消息的位置 查询分区最新消息的位置 Kafka删除消息 父主题: API V2(推荐)
NULL 默认值:换行符“\n”。 deliver_time_interval Integer 根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。 取值范围:30~900,缺省值:300,单位:秒。 说明: 使用OBS通道转储流式数据时该参数为必选配置。
台为准。 100MB/s的带宽不支持开启公网访问的原因为底层ECS资源规格的限制,此种情况下,通过扩容Kafka实例的带宽无法解决此问题,因为扩容带宽是通过扩容节点实现的,扩容的节点规格和扩容前的节点相同,此时底层ECS资源规格依然不支持开启公网访问。 建议您通过重新购买大于100MB/s带宽的实例解决此问题。
Kafka Manager只显示14天内有消费记录的消费组,如果您不想重启Kafka Manager,可以等待14天后Kafka Manager自动清除此消费组。 父主题: Kafka Manager问题
盘中的数据,直至数据自然老化(Kafka原有的老化机制,数据默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。 自动删除策略 该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据可能会丢失。
partition Integer 分区编号。 message_offset Long 最早消息位置。 timestamp Long 最早消息时间戳。 响应示例 { "topic": "mytest", "partition": 0, "message_offset
NULL 默认值:换行符“\n”。 deliver_time_interval 是 Integer 根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。 取值范围:30~900 单位:秒。 说明: 使用OBS通道转储流式数据时该参数为必选配置。
partition Integer 分区编号。 message_offset Long 最新消息位置。 timestamp Long 最新消息时间戳。 响应示例 { "topic": "mytest", "partition": 0, "message_offset":