检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其他接口 查询产品规格列表 父主题: API V2
Topic名称开头包含特殊字符,例如#号“#”。 Kafka实例中没有创建Topic。 解决方法如下: 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示,可能原因如下: 消费组名称开头包含特殊字符,例如#号“#”。 此消费组从未有消费者连接。 解决方法如下: 删除带特殊字符的消费组。
组。部分实例在“配置参数”中没有“auto.create.groups.enable”参数,具体以控制台为准,此时建议修改业务代码,使业务代码不再连接该消费组,然后再删除消费组。修改“auto.create.groups.enable”参数的方法请参考修改Kafka实例配置参数。
fsets.retention.minutes、auto.create.groups.enable参数有关: 2023年4月25日前创建的实例,auto.create.groups.enable默认为true,消费组多久后会自动被删除取决于offsets.retention.minutes,offsets
实例公网连接IP地址。当实例开启了公网访问,实例才包含该参数。 kafka_manager_user String 登录Kafka Manager的用户名。 enable_log_collection Boolean 是否开启消息收集功能。 cross_vpc_info String 跨VPC访问信息。 ipv6_enable
参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 topic 是 String Topic名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 partitions
以英文逗号隔开多个弹性IP地址的ID。 如果开启了公网访问功能(即enable_publicip为true),该字段为必选。 ssl_enable Boolean 否 是否打开SSL加密访问。 true:打开SSL加密访问。 false:不打开SSL加密访问。 retention_policy String
maintain_end String 维护时间窗结束时间,格式为HH:mm:ss。 enable_publicip Boolean 实例是否开启公网访问功能。 true:开启 false:未开启 management_connect_address String Kafka实例的Kafka
志,或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具,Hadoop表示大数据分析系统。
String 引擎。 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 group 是 String 消费组ID。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer
要有公网访问权限,并配置如下安全组。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9094 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(明文接入)。 入方向 TCP 9095 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(密文接入)。
String 引擎。 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 group 是 String 消费组ID。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer
String 引擎。 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 group 是 String 消费组名过滤查询。 请求参数 无 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型
生产流量,每秒生产的字节数 broker_public_bytes_in_rate 公网入流量,每秒节点公网访问流入流量 broker_public_bytes_out_rate 公网出流量,每秒节点公网访问流出流量 broker_produce_mean 消息生产平均处理时长,服务端处理消息生产请求平均时长
使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 执行以下命令,检查是否已安装Go。 go version 返回如下回显时,说明Go已经安装。 [root@ecs-test confluent-kafka-go]# go version go version go1.16.5 linux/amd64
自动创建Topic时的默认副本个数。 1 ~ 3 3 allow.everyone.if.no.acl.found 如果设置为true,没有给资源配置ACL时,允许所有用户访问。 如果设置为false,初始用户拥有所有操作的权限,其他用户需要配置权限才能进行对应的操作。 所有操作包括修改Topic权限、创建和删除Topic、以及修改Topic分区数。
pic生产或消费消息时,系统会自动创建此Topic。 其他建议 连接数限制:3000 消息大小:不能超过10MB 使用SASL_SSL协议访问Kafka:确保DNS具有反向解析能力,或者在hosts文件配置Kafka所有节点IP和主机名映射,避免Kafka client做反向解析,阻塞连接建立。
业务过载处理建议 方案概述 Kafka业务过载,一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时,系统的运行速度会降低,并有加速硬件损坏的风险。 当磁盘写满时,相应磁盘上的Kafka日志目录会出现offline问题。此时,该磁盘上的分区副本不可读写,降低了分区的可
String Kafka实例的基准带宽。 available_zones Array 实例资源未售罄的可用区。 ecs_flavor_id String 该产品规格对应的虚拟机规格。 arch_type String 实例规格架构类型。当前仅支持X86。 表6 io参数说明 参数 类型
为什么offset不连续? 在生产者客户端中开启幂等或事务,然后生产消息,此时您会在消费者客户端或Kafka控制台的“消息查询”中观察到消息offset不连续的现象。这是因为开启了幂等或事务后,在生产消息时会产生一些元数据控制消息,这些控制消息也会生产到该Topic中, 且它们对