检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例版本在控制台和Kafka Manager上显示不一致? 为什么实例中存在默认名为__trace和__consumer_offsets的Topic? 客户端删除消费组后,在Kafka Manager中仍可以看到此消费组?
开启或关闭实例自动创建topic功能 功能介绍 开启或关闭实例自动创建topic功能。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/autotopic 表1 路径参数 参数 是否必选 参数类型
user_name 否 String 首次开启SASL时,需要输入用户名。实例创建后,关闭SASL并不会删除已经创建的用户,再次开启SASL时无需传入用户名,传入的用户名将无效。 pass_word 否 String 首次开启SASL时,需要输入用户名的密码。 sasl_enabled_mechanisms
问题现象:监控显示消息堆积数为8.1亿+,Kafka控制台显示实例中6个Topic的消息数总和为1亿+,两者不一致。 问题结论:两者统计方式不同,Kafka控制台显示的消息数为实例中未消费的消息个数,而监控显示的消息堆积数=Topic中的消息积压数*消费组数。 父主题: 监控告警问题
Kafka实例的Topic数量是否有限制? Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称
是 String 实例ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 action 否 String 删除类型。当前只支持delete。 当删除用户时,为必选参数。 users 否 Array of strings 用户列表。 当删除用户时,为必选参数。 响应参数
购买实例时选择的单AZ,怎样可以扩展为多AZ? 已购买的实例无法扩展AZ,请重新购买多AZ的实例。 父主题: 实例问题
分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击待关闭Kafka Manager的Kafka实例名称,进入实例详情页面。 在“基本信息”页面的“连接信息 > Kafka Manager”后,单击,关闭Kafka
的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户,并授予DMS for Kafka的权限,以达到用户之间权限的隔离。 购买Kafka实例
单机和集群Kafka实例差异概述 单机实例是分布式消费服务Kafka版提供的单代理实例,只适用体验和业务测试场景,无法保证性能和可靠性。如果需要在生产环境使用Kafka实例,建议购买集群实例。 单机实例和集群实例支持的特性和功能有部分差异,具体如表1所示。 表1 单机实例和集群实例的差异说明
问题现象:消息超过设置的老化时间(如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。),消息仍存在。
此授权项对应的自定义策略,可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目,不支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。管理员可以在授权项列表中查看授权项是否支持IAM项目或企业项目,“√”表示支持,“
分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“流控管理 > 流控监控”,进入流控监控页面。 设置查询带宽使用量的参数。 表1 查询带宽使用量的参数说明
云监控无法展示Kafka监控数据 Topic监控数据无法展示,可能原因如下: Topic名称开头包含特殊字符,例如#号“#”。 Kafka实例中没有创建Topic。 解决方法如下: 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示,可能原因如下: 消费组名称开头包含特殊字符,例如#号“#”。
后台任务管理 查询实例的后台任务列表 查询后台任务管理中的指定记录 删除后台任务管理中的指定记录 父主题: API V2(推荐)
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者? 如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 为什么删除消费组不生效? 实例消费正常,为什么看不到消费者? Kafka可以删除消费组下不用的Topic吗?
Smart Connect 开启Smart Connect(按需实例) 关闭Smart Connect(按需实例) 创建Smart Connect任务 查询Smart Connect任务列表 查询Smart Connector任务详情 删除Smart Connector任务 暂停Smart
实例连接以及消息生产与消费的相关示例。如果您需要在IDE中查看Demo具体表现,请查看Java开发环境搭建。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。 Maven中引入Kafka客户端 //Kafka实例基于社区版本1.1
入门实践 当您购买了Kafka实例后,可以根据自身的业务需求使用分布式消息服务Kafka版提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介
项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 new_password 是 String 8-32个字符。 至少包含以下字符中的3种: 大写字母 小写字母 数字 特殊字符`~!@#$%^&*()-_=+\|[{}];:'"