检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
端,然后等待一段时间(即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000毫秒)后,服务端才认为此消费组客户端已下线。 当前页面API为历史版本API,未来可能停止维护。请使用重置消费组消费进度到指定位置。 调用方法 请参见如何调用API。
实例扩容时用于区分老实例与新实例。 true:新创建的实例,允许磁盘动态扩容不需要重启。 false:老实例。 extend_times Integer 实例扩容磁盘次数,如果超过20次则无法扩容磁盘。 enable_auto_topic Boolean 是否打开kafka自动创建topic功能。 true:开启
实例状态说明 状态 说明 CREATING 申请实例后,在实例状态进入运行中之前的状态。 RUNNING 实例正常运行状态。在这个状态的实例可以运行您的业务。 ERROR 实例处于故障的状态。 RESTARTING 实例正在进行重启操作。 STARTING 实例从已冻结到运行中的中间状态。
分布式消息服务Kafka版在兼容开源Kafka基础上,对版本特性做了一定程度的定制和增强,所以,除了拥有开源Kafka的优点,分布式消息服务Kafka版提供了更多可靠、实用的特性。 表1 分布式消息服务Kafka版与开源Kafka的差异说明 对比类 对比项 分布式消息服务Kafka版
管理Kafka Manager 访问Kafka Manager 重置Kafka Manager密码 重启Kafka Manager 关闭Kafka Manager 父主题: 管理实例
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 connector_id 是 String 实例转储ID。 请参考查询实例返回的数据。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 sink_max_tasks
Connector任务 暂停Smart Connect任务 启动已暂停的Smart Connect任务 启动未启动的Smart Connect任务/重启已暂停或者运行中的Smart Connect任务 父主题: API V2(推荐)
区平衡任务无法结束。 分区平衡任务启动后,无法修改Topic的分区数。 分区平衡任务启动后,无法手动停止任务,需要等到任务完成。 已设置了一个定时分区平衡任务,在此任务未执行前,无法对本实例内的任何Topic执行其他分区平衡任务。 分区平衡后Topic的metadata会改变,如
优化消费者轮询(Polling) 方案概述 应用场景 在分布式消息服务Kafka版提供的原生Kafka SDK中,消费者可以自定义拉取消息的时长,如果需要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。
实例管理 重置密码 重置Manager密码 重启Manager 开启或关闭实例自动创建topic功能 修改实例跨VPC访问的内网IP 查询Kafka集群元数据信息 查询消费组信息 查询Kafka实例的协调器信息 修改Kafka实例Topic分区的副本 查询topic的磁盘存储情况
请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 通过以下任意一种方法,进入监控页面。 在Kafka实例名称后,单击“查看监控数据”,进入云监控该实例的监控指标页面。 单击Kafka实例名称
生命周期管理 创建实例 查询所有实例列表 查询指定实例 删除指定的实例 修改实例信息 批量重启或删除实例 获取实例配置 修改实例配置 实例升级 父主题: API V2(推荐)
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者? 如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 为什么删除消费组不生效? 实例消费正常,为什么看不到消费者? Kafka可以删除消费组下不用的Topic吗?
正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance,这种情况是无法避免的。但是某些特殊情况下,消费者会被服务端认为异常从而被踢出消费组,此时可能会导致消费异常,需要重点关注。 消费者被服务端认为异常从而被踢出消费组的场景如下: 未能及时发送心跳请求。 消费者以设置的heartbeat.interval
task_name 否 String SmartConnect任务名称。 start_later 否 Boolean 是否稍后再启动任务。如需要创建任务后立即启动,请填false;如希望稍后在任务列表中手动开启任务,请填true。 topics 否 String SmartConnect任务配置的Topic。
生产者客户端3.0及之后的版本默认开启幂等),生产消息会在服务端创建生产者状态对象,若频繁创建producer,会导致服务端创建大量生产者状态对象后无法及时回收,服务端内存占用飙升,进而导致服务端性能急剧下降。如果不需要使用幂等功能,请将“enable.idempotence”设置为“false”。
集群架构与跨AZ部署,服务高可用 Kafka后台为多集群部署,支持故障自动迁移和容错,保证业务的可靠运行。 Kafka实例支持跨AZ部署,代理部署在不同的AZ,进一步保障服务高可用。不同AZ之间基于Kafka ISR(in-sync replica)进行数据同步,Topic需要选择数据多副
实例管理类接口 创建Kafka实例 查询指定实例 修改实例信息 删除指定实例 批量重启、删除实例 查询所有实例列表 Kafka实例创建Topic Kafka实例查询Topic Kafka实例批量删除Topic 父主题: API V1
包年/包月Kafka实例到期后会影响Kafka实例正常运行。如果您想继续使用,需要在指定的时间内为Kafka实例续费,否则Kafka实例资源会自动释放,数据丢失且不可恢复。 续费操作仅适用于包年/包月Kafka实例,按需计费Kafka实例不需要续费,只需要保证账户余额充足即可。 Kafka实例在到期前续费成
计费项 计费说明 分布式消息服务Kafka版的计费项由实例费用和存储空间费用组成。具体内容如表1所示。 如您需要快速了解分布式消息服务Kafka版的具体价格,请参见分布式消息服务Kafka版价格详情。 表1 分布式消息服务Kafka版计费项 计费项 计费项说明 适用的计费模式 计费公式