检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否为contoller节点。 version String 服务端版本。 register_time Long broker注册时间,为unix时间戳格式。 is_health Boolean Kafka实例节点的连通性是否正常。 请求示例 GET https://{endpo
储空间*代理数量)的费用。 计费周期 包年/包月Kafka实例的计费周期是根据您购买的时长来确定的(以UTC+8时间为准)。一个计费周期的起点是您开通或续费资源的时间(精确到秒),终点则是到期日的23:59:59。 例如,如果您在2023/03/08 15:50:04购买了一个时
制作和替换Kafka JKS格式的SSL证书 SSL证书的作用是在客户端和Kafka实例进行数据传输时对数据加密传输,提高了数据的安全性。 Kafka客户端连接开启密文接入且Kafka安全协议为“SASL_SSL”的Kafka实例时,您可以使用分布式消息服务Kafka版提供的证书
offsets.retention.minutes 消费位点保留时间是消费位点最大保留时间,从提交消费位点的时间开始计算,超过该时间的消费位点将被删除。消费者每次向Topic分区提交一次消费位点时,该消费位点的保留时间将会被重置为0。 2023年5月1日前创建的实例,此参数为静态参数。
息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常(如需要写入后端数据库,后端数据库压力太大,慢SQL,时延增加等)导致消费时间增加,在max.poll.interval.ms时间内消费者没有发起下一次消费请求,broker认为消费者不活
使用客户端连接Kafka(开启SASL) 本章节介绍如何使用开源的Kafka客户端访问开启密文接入的Kafka实例的方法。密文接入表示客户端访问Kafka实例时,需要进行SASL认证。如果Kafka安全协议为“SASL_SSL”,客户端和Kafka实例进行通信时,数据使用加密传输,安全性更高。
分区信息:包含分区编号、最小偏移量、最早更新时间、最大偏移量、最近更新时间和消息数。 当分区中的消息都已老化,或尚未生产消息时,“最早更新时间”和“最近更新时间”显示“--”,如下图所示。 图2 分区信息 生产者信息:包含Broker地址、生产者地址和加入时间。 2023年7月10日以及之前
1-168. Kafka实例创建Topic的老化时间必须在1-168范围内。 请检查Topic老化时间 400 DMS.00400106 Invalid maintenance time window. 维护时间窗参数非法。 请检查维护时间窗参数 400 DMS.00400107 The
属于物理概念。下图通过消息的生产与消费流向,解释了Kafka的分区、代理与主题间的关系。 图1 Kafka消息流 老化时间 消息的最长保留时间,消费者必须在此时间结束前消费消息,否则消息将被删除。删除的消息,无法被消费。
该参数不能单独为空,若该值为空,则结束时间也为空。系统分配一个默认开始时间02:00:00。 maintain_end String 否 维护时间窗结束时间,格式为HH:mm:ss。 维护时间窗开始和结束时间必须为指定的时间段,可参考查询维护时间窗时间段获取。 结束时间在开始时间基础上加四个小时,即
表示消费组内的某一个消费者超时退出,一般触发场景是消费者长时间没有与服务端通信导致,比如处理消息耗时太久阻塞等。 对文件中每次Preparing到Stabilized完成的时间进行计算得到以下结果图。图中时间为UTC+0时间,对应北京时间需要加8小时。 图1 消费组rebalance图
在同一个区域。 转储目录 OBS中存储Topic的目录,多级目录可以用“/”进行分隔。 时间目录格式 数据将存储在转储目录下的时间目录中,时间目录是按时间格式作为层级的目录。例如,当选择的时间目录格式精确到日时,存储目录为:“桶名称/转储目录/年/月/日”。 记录分隔符 在下拉列
其他接口 查询可用区信息 查询产品规格列表 查询维护时间窗时间段 查询实例在CES的监控层级关系 查询实例在CES的监控层级关系 查询配额 父主题: API V1
其他接口 查询维护时间窗时间段 查询可用区信息 查询产品规格列表 查询实例在CES的监控层级关系 查询Kafka产品规格核数 父主题: API V2(推荐)
确认扩容信息无误后,单击“提交”。 查看变更进度和预计剩余时间。 在实例列表页面,单击实例名称,进入实例详情页。 在左侧导航栏单击“后台任务管理”,进入“后台任务”页签。 单击“任务名”为“变更规格”的任务,弹出“变更规格任务详情”对话框。 在顶部区域,查看变更进度和预计剩余时间。在“任务执行步骤”中,查看执
ms=1000。 request.timeout.ms 30000 结合实际业务调整 设置一个请求最大等待时间(单位为ms),超过这个时间则会抛Timeout异常。 超时时间如果设置大一些,如127000(127秒),高并发的场景中,能减少发送失败的情况。 block.on.buffer
消息积压诊断预检查 创建消息积压诊断任务 查询消息积压诊断报告列表 批量删除消息积压诊断报告 查询诊断报告详情 其他接口 包括: 查询维护时间窗时间段 查询可用区信息 查询产品规格列表 查询实例在CES的监控层级关系 查询Kafka产品规格核数
ms=0。对于时延不敏感的信息,设置linger.ms在100~1000之间。 生产端的JVM内存要足够,避免内存不足导致发送阻塞。 时间戳设置为与当地时间一致,避免时间戳为未来时间导致消息无法老化。 尽量复用producer,不要频繁创建producer。当producer开启幂等时(生产者客户端3
实例使用类接口 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询Kafka实例所有消费组对应的协调器信息 查询Kafka实例Topic详细信息 新增Kafka实例指定Topic分区
单机实例副本数为1,集群实例副本数为3。 老化时间为72小时。 不开启同步复制和同步落盘。 消息时间戳类型为CreateTime。 批处理消息最大值为10485760字节。 集群实例如果在“配置参数”中修改“log.retention.hours”(老化时间)、“default.replication