检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果为真,consumer所fetch的消息的offset将会自动的同步到zookeeper。这项提交的offset将在进程无法提供服务时,由新的consumer使用。 约束: 设置为false后,需要先成功消费再提交,这样可以避免消息丢失。 auto.offset.reset latest
Kafka实例规格 Kafka单机实例 Kafka集群实例
实例使用类接口 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询Kafka实例所有消费组对应的协调器信息 查询Kafka实例Topic详细信息 新增Kafka实例指定Topic分区
统一身份认证提供了权限管理功能,可以帮助您安全地控制云服务和资源的访问权限。您可以为不同的用户设置不同的访问Kafka实例的权限,以达到不同用户之前的权限隔离。 云监控(Cloud Eye) 云监控是一个开放性的监控平台,提供资源的实时监控、告警、通知等服务。 Kafka实例向CloudEye上报监控数据的更新周期为1分钟。
实例管理类接口 创建Kafka实例 查询指定实例 修改实例信息 删除指定实例 批量重启、删除实例 查询所有实例列表 Kafka实例创建Topic Kafka实例查询Topic Kafka实例批量删除Topic 父主题: API V1
String 客户端ID。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 user-default 否 Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default
实例规格变更问题 Kafka扩容/缩容会影响业务吗? 扩容过程中涉及数据迁移吗? 扩容/缩容过程中生产消息失败 扩容失败提示资源不足
authorized to access topics”的报错。 图1 消费者访问权限 处理方法: 如果业务要求所有消费者在同一个消费组内,即group.id相同,解决方法:为所有消费者授权相同的Topic访问权限。 如果消费者不需要在同一个消费组内,解决方法:修改group.id,让每个消费者单独在一个消费组内。
资源费用,因此在账户出现欠费的情况下,已有的包年/包月Kafka实例仍可正常使用。然而,对于涉及费用的操作,如新购Kafka实例、扩容实例规格、续费等,用户将无法正常进行。 按需计费 当您的账号因按需Kafka实例自动扣费导致欠费后,账号将变成欠费状态。欠费后,按需资源不会立即停
Kafka生产消息的最大长度是多少? 为什么Kafka实例常常发生Rebalance(重平衡),导致消息拉取失败? 为什么Console页面上,消息查询查不到消息? Kafka消息堆积了怎么办? 消息超过老化时间,消息仍存在的原因 Kafka实例是否支持延迟消息? 如何查看堆积消息数? 为什么消息创建时间显示1970?
String 客户端ID。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 user-default 否 Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default
String 客户端ID。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 user-default 否 Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default
通过以下任意一种方法,查看堆积消息数。 在Kafka控制台的“消费组管理”页面,单击待查看堆积消息的消费组名称,进入消费组详情页。在“消费进度”页签,查看消费组中每个Topic的总堆积数。具体步骤,请参考查看消费进度。 在Kafka控制台的“监控与告警 > 监控详情”页面的“消费组”页签中,“消费组”选择待查看堆
查询可用区信息 当前页面API为历史版本API,未来可能停止维护。请使用查询可用区信息。 功能介绍 在创建实例时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。 URI GET /v1.0/availableZones 请求消息 请求参数 无。 请求示例 GET h
查询产品规格列表 当前页面API为历史版本API,未来可能停止维护。请使用查询产品规格列表。 功能介绍 在创建kafka实例时,需要配置订购的产品ID(即product_id),可通过该接口查询产品规格。 例如,要订购按需计费、基准带宽为100MB的kafka实例,可从接口响应消息中
count Integer 用户/客户端流控配置数目。 表4 Quota 参数 参数类型 描述 user String 用户名。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 client String 客户端ID。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。
对于按需计费模式的资源,例如按需计费的Kafka实例,若不再使用Kafka实例且需停止计费,请删除相应Kafka实例。需要注意,如果实例开启了回收站策略,删除按需实例后,此实例会存入回收站中,此时不会收取实例的费用,但是会按需收取存储空间的费用。如果想要停止计费,请在回收站中删除实例。 通过账单查找云服务资源并停止计费
如何修改message.max.bytes参数? 在Kafka控制台的“配置参数”页面修改message.max.bytes参数,具体步骤请参见修改Kafka实例配置参数。 message.max.bytes参数最大只能修改为10485760字节,如果您实际的业务场景中单条消息的
为什么Kafka实例常常发生Rebalance(重平衡),导致消息拉取失败? 消费组的Rebalance就是对Topic分区的重新分配。 正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance,这种情况是无法避免的。但是某些特殊情况下,消费者会被服务端认为异常
监控告警问题 云监控无法展示Kafka监控数据 Kafka监控显示消息堆积数跟实例里的消息数不一致? Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动? 为什么JVM堆内存使用率出现明显波动?