检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例列表页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏选择“分析与诊断 > 消息积压诊断”,进入消息积压诊断页面。 选择需要诊断的消费组名称和Topic名称,单击“诊断前检查”。 检查成功后,在页面上方显示“预检查成功”,并显示内存使用率、CPU利用率、分区订阅
Kafka扩容了Broker节点,新增的节点没有分配分区,会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化,多少会发生一些Leader副本的切换或迁移,会导致个别Broker节点上的数据更多,从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施: 优化业务中Topic的
Kafka专享版页面。 复制资源ID。 Kafka实例的实例费用和存储空间费用会分别上报一条账单到计费系统进行结算。查看指定资源的账单时,需要分别查看实例账单和存储空间账单。 在Kafka实例列表页面如下图所示位置单击鼠标左键,复制实例的资源ID。 图2 获取资源ID(实例) 单
实例ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 group_ids 是 Array of strings 所有需要删除的消费组ID。 响应参数 状态码:200 表3 响应Body参数 参数 参数类型 描述 failed_groups Array of failed_groups
是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default Boolean 是否使用客户端默认设置。 是,表示对全部客户端限流。此时不能设置客户端ID。 否,表示对特定客户端限流。此时需要设置客户端ID。 producer-byte-rate
实例列表页面。 单击实例名称,进入实例详情页面。 在左侧导航栏单击“标签”,进入标签管理页面。 界面显示该实例的标签列表。 您可以根据实际需要,执行以下操作: 添加标签 单击“创建/编辑标签”,弹出“创建/编辑标签”对话框。 在“标签键”和“标签值”中,输入标签的键/值,单击“添加”。
、创建时间和消息正文。 控制台只能展示4KB以内的消息,超过4KB的消息,请单击“下载消息”,下载到本地查看消息完整的内容。 (可选)如果需要恢复默认设置,单击“重置”。 父主题: 管理消息
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者? 如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 为什么删除消费组不生效? 实例消费正常,为什么看不到消费者? Kafka可以删除消费组下不用的Topic吗?
ID。其中Array首位为leader副本,所有分区需要有同样数量的副本,副本数不能大于总broker的数量。 响应参数 无 请求示例 修改Topic分区的副本分布位置,分区1的副本分布在broker 1和broker 2,Leader副本在broker 1。 POST https://{endpoint}
该Topic中, 且它们对消费者不可见,从而造成offset不连续的现象。 Kafka生产者客户端3.0及之后的版本会默认开启幂等,如果不需要使用该功能,请将“enable.idempotence”设置为“false”。 父主题: 消息问题
art Connect任务(Kafka数据复制)。 Kafka实例不支持创建Kafka数据复制类型的Smart Connect任务时,如果需要做Kafka实例迁移,可以同时向两个Kafka实例生产消息,源实例中的消息可继续消费,待源实例的消息数据全部被消费完或老化后,业务可迁移到新的Kafka实例。
Manager。 单击“kafka_cluster”,进入“Summary”界面。 单击“Topic > List”,进入“Topics”界面。 单击需要修改属性的Topic名称,进入Topic详情界面。 单击“Update Config”,修改Topic属性。 父主题: Kafka Manager问题
该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据可能会丢失。 以上两种策略需要基于业务对数据和业务的可靠性来进行选择,只能作为极端场景下的一种处理方式。建议业务购买时保证有充足的磁盘容量,避免磁盘的使用达到容量阈值。
Integer 期望调整分区后的数量,必须大于当前分区数量,小于等于 100。 响应参数 无 请求示例 增加Topic分区数。 POST https://{endpoint}/v2/{project_id}/instances/{instance_id}/management/top
instance_id 是 String 实例ID。 group 是 String 消费组ID。 请求参数 无 响应参数 无 请求示例 DELETE https://{endpoint}/v2/{engine}/{project_id}/instances/{instance_id}/groups/{group}
无 响应参数 状态码:200 表2 响应Body参数 参数 参数类型 描述 core_num Integer 核数 请求示例 GET https://{endpoint}/v2/kafka/products/cores 响应示例 状态码:200 查询成功。 { "core_num"
个,单击信息栏左上侧的“恢复”。 在待恢复Kafka实例所在行,单击“恢复”。 在弹出的“恢复实例”对话框中,单击“确定”。 恢复实例大约需要3~10分钟,在“Kafka专享版”页面查看已恢复的实例。 包年/包月的实例从回收站中恢复后,计费模式会变为按需计费。 修改保留天数 登录管理控制台。
分区设置不合理,所有的生产和消费都集中在某个节点上,导致CPU利用率高。 磁盘写满的原因 业务数据增长较快,已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡,生产的消息集中在某个分区,导致分区所在的磁盘写满。 Topic的数据老化时间设置过大,保存了过多的历史数据,容易导致磁盘写满。
String 是 项目ID。 instance_id String 是 实例ID。 请求消息 请求参数 无。 请求示例 DELETE https://{dms_endpoint}/v1.0/{project_id}/instances/{instance_id} 响应消息 响应参数
broker注册时间,为unix时间戳格式。 is_health Boolean Kafka实例节点的连通性是否正常。 请求示例 GET https://{endpoint}/v2/{project_id}/instances/{instance_id}/management/cluster