检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka实例的SSL证书有效期多长? Kafka实例开启SASL_SSL时,需进行单向认证,证书有效期足够长(超过15年),客户端不需要关注证书过期风险。 查看SSL证书有效期的方法如下: 解压从Kafka实例控制台下载的压缩包,获取压缩包中的“phy_ca.crt”。 双击“phy_ca
Kafka支持SASL客户端认证、调用接口支持Token和AK/SK两种认证,Kerberos认证目前不支持。 如果使用SASL认证方式,则在开源客户端基础上使用分布式消息服务Kafka版提供的证书文件。具体操作参考使用客户端连接Kafka(开启SASL)。 父主题: 连接问题
Integer 消息开始位点 message_log_end_offset Integer 消息结束位点 consumer_id String 消费者Id host String host名称 client_id String 客户端Id 请求示例 查询消费组消息位点 GET h
查询Topic消息 消息的参数说明如下: Topic名称:消息所在的Topic名称。 分区:消息所在的分区。 偏移量:消息在分区中的位置。 消息大小:消息存入磁盘的大小,单位为B。 创建时间:消息的创建时间。创建时间由生产客户端在生产消息时通过CreateTime指定的,如果生产消息时没有设置此参数,创建时间会默认为1970。
移量之前开始向新增加的分区发送消息,从而导致部分消息丢失。 删除Kafka消息 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导
查询消息积压诊断报告列表 功能介绍 查询消息积压诊断报告列表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/kafka/instances/{instance_id}/message-diagnosis-tasks 表1 路径参数 参数 是否必选
对于管理员创建IAM用户接口,返回如图1所示的消息头。 图1 管理员创建IAM用户响应消息头 响应消息体(可选) 该部分可选。响应消息体通常以结构化格式(如JSON或XML)返回,与响应消息头中Content-type对应,传递除响应消息头之外的内容。 对于管理员创建IAM用户接口,返回如下消息体。为篇幅起见,这里只展示部分内容。
诊断Kafka消息积压 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 分布式消息服务Kafka版在控制台提供了消息积压诊断功能,如果消息存在堆积,诊断
Kafka,都会要求访问请求方出示身份凭证,并进行身份合法性校验,同时提供登录保护和登录验证策略加固身份认证安全。 DMS for Kafka基于统一身份认证服务(Identity and Access Management,简称IAM),支持三种身份认证方式:用户名密码、访问密钥、临时访问密钥。同时还提供登录保护及登录验证策略。
为什么Console页面上,消息查询查不到消息? 可能原因1:消息已被老化。 解决方法:修改老化时间。 可能原因2:消息的createTime时间戳不对。 Console页面是根据时间查询的,所以查不到。时间戳是由客户端生成,不同客户端有不同的处理策略,有的客户端默认值会是0或者-1,则查询不到消息。
监控详情”页面的“消费组”页签中,“消费组”选择待查看堆积消息数的消费组名称,“主题”选择“全部Topic”,“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤,请参考查看Kafka监控数据。 在云监控页面的“消费组”页签中,“消费组”选择待查看堆积消息数的消费组名称,“主题
修改Kafka消息老化时间 老化时间即消息的最长保留时间,消费者必须在此时间结束前消费消息,否则消息将被删除。已删除的消息,无法被消费。 Topic老化时间默认为72小时,创建Topic成功之后,您可以根据业务需要修改Topic的老化时间。修改老化时间,不会影响业务。 修改老化时间可以通过以下方式实现:
在待生产消息的Topic所在行,单击“更多 > 生产消息”(实例已开启SASL)/“生产消息”(实例未开启SASL),弹出“生产消息”对话框。 参考表1,设置消息的相关参数。 表1 消息参数 参数名称 说明 消息内容 输入消息的内容。长度为0~128000B。 消息Key 输入消息的Key。 发送到指定分区
管理消息 查看Kafka消息 修改Kafka消息老化时间 删除Kafka消息 诊断Kafka消息积压
time为未来时间的消息(例如当前时间为1月1日,create time设置成了2月1日),此消息在72小时后,并不会被老化,导致在此消息后创建的其他消息都不会被老化。 处理方法:删除create time为未来时间的消息所在的Topic。 父主题: 消息问题
Kafka实例是否支持延迟消息? 不支持延迟消息。 父主题: 消息问题
为什么消息创建时间显示1970? 消息创建时间是由生产客户端在生产消息时通过CreateTime指定的,如果生产消息时没有设置此参数,消息创建时间会默认为1970。 父主题: 消息问题
生产消息失败 问题现象 系统提示“Disk error when trying to access log file on the disk”错误。 根因描述 节点磁盘使用率超高导致生产消息失败。 问题解决措施 扩容实例的磁盘空间,具体操作请参考变更Kafka实例规格。
消息问题 Kafka生产消息的最大长度是多少? 为什么Kafka实例常常发生Rebalance(重平衡),导致消息拉取失败? 为什么Console页面上,消息查询查不到消息? Kafka消息堆积了怎么办? 消息超过老化时间,消息仍存在的原因 Kafka实例是否支持延迟消息? 如何查看堆积消息数?
被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 消息堆积原因 导致消息堆积的常见原因如下: 生产者短时间内生产大量消息到Topic,消费者无法及时消费。 消费者的消费能力不足(消费者并发低、消息处理时间长),导致消费效率低于生产效率。 消费者异常(如