-
如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? - 分布式消息服务Kafka版
如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 消息组中没有在线的消费者(如empty状态),14天后是否会自动被删除与offsets.retention.minutes、auto.create.groups.enable参数有关: 2023年4月25日前创建的实例,auto
-
重置消费组消费进度到指定位置 - 分布式消息服务Kafka版
重置消费组消费进度到指定位置 功能介绍 Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。停止待重置消费组客户端,然后等待一段时间(即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000
-
重置消费组消费进度到指定位置 - 分布式消息服务Kafka版
重置消费组消费进度到指定位置 当前页面API为历史版本API,未来可能停止维护。请使用重置消费组消费进度到指定位置。 功能介绍 Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。停止待重置消费组客户端,然后等待一段时间(即ConsumerConfig
-
重置消费组消费进度到指定位置 - 分布式消息服务Kafka版
重置消费组消费进度到指定位置 当前页面API为历史版本API,未来可能停止维护。请使用重置消费组消费进度到指定位置。 前提条件 Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。 在停止被重置消费组客户端后,需要经过ConsumerConfig.SE
-
查看和重置Kafka消费进度 - 分布式消息服务Kafka版
本章节介绍如何查看和重置消费进度,重置消费进度即修改消费者的消费位置。 重置消费进度可能会导致重复消费,请谨慎操作。 前提条件 Kafka实例不支持在线重置消费进度,请先将待重置消费进度的消费组停止消费,然后重置消费进度。 停止待重置消费进度的消费者客户端后,需要等待一段时间(即ConsumerConfig
-
什么是分布式消息服务Kafka版 - 分布式消息服务Kafka版
Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供
-
使用客户端连接Kafka(密文接入) - 分布式消息服务Kafka版
0版本,确保Kafka实例版本与命令行工具版本相同。 已创建弹性云服务器,如果使用内网通过同一个VPC访问实例,请设置弹性云服务器的VPC、子网、安全组与Kafka实例的VPC、子网、安全组一致。在弹性云服务器中安装Java Development Kit 1.8.111或以上版
-
消费组问题 - 分布式消息服务Kafka版
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者? 如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 客户端删除消费组后,在Kafka Manager中仍可以看到此消费组?
-
查询Kafka实例的协调器信息 - 分布式消息服务Kafka版
coordinators objects 所有消费组对应的协调器列表。 表3 coordinators 参数 参数类型 描述 group_id String 消费组ID。 id Integer 对应协调器的broker id。 host String 对应协调器的地址。 port Integer 端口号。
-
查询Kafka集群元数据信息 - 分布式消息服务Kafka版
of cluster 集群基本信息。参数请查看表3。 表3 cluster参数说明 参数 类型 说明 controller String 控制器ID。 brokers Array Object of brokers 节点列表。参数请查看表4。 topics_count Integer
-
SDK概述 - 分布式消息服务Kafka版
SDK概述 本文介绍了分布式消息服务Kafka版提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 表1提供了分布式消息服务Kafka版支持的SDK列
-
与开源Kafka的差异 - 分布式消息服务Kafka版
使用,实时查看和管理消息实例。 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。 无 成本低廉 按需使用 提供多种规格,按需使用,支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。
-
在Windows服务器中无法登录Kafka Manager - 分布式消息服务Kafka版
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址,无法登录Kafka Manager,报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。
-
查询Kafka实例所有消费组对应的协调器信息 - 分布式消息服务Kafka版
Array 所有消费组对应的协调器列表。参数参见表3。 表3 coordinators参数说明 参数 类型 说明 group_id String 消费组ID。 id Integer 对应协调器的broker id。 host String 对应协调器的地址。 port Integer
-
查询Kafka集群元数据信息 - 分布式消息服务Kafka版
cluster cluster object 集群基本信息。 表3 cluster 参数 参数类型 描述 controller String 控制器ID。 brokers Array of brokers objects 节点列表。 topics_count Integer 主题数量。 partitions_count
-
包年/包月 - 分布式消息服务Kafka版
用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景: 稳定业务需求:对于长期运行且资源需求相对稳定的业务,如企业官网、在线商城、博客等,包年/包月计费模式能提供较高的成本效益。 长期项目:对于周期较长的项目,如科研项目、大型活动策划等,包年/包月计费模式可以确保在整个项目周期内资源的稳定使用。
-
Kafka Manager概述 - 分布式消息服务Kafka版
创建一台与Kafka实例相同VPC和相同安全组的Windows服务器,详细步骤请参考购买并登录Windows弹性云服务器。 如果是已经开启了公网访问,该步骤为可选,在本地浏览器中即可访问,不需要单独的Windows弹性云服务器。 在实例详情信息页面,获取Kafka Manager地址。
-
审计与日志 - 分布式消息服务Kafka版
云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录DMS for Kafka的管理事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 CTS支持追踪的DMS
-
Logstash对接Kafka生产消费消息 - 分布式消息服务Kafka版
Logstash对接Kafka生产消费消息 应用场景 Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节主要介绍
-
选择和配置安全组 - 分布式消息服务Kafka版
使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组? 是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,则无需添加其他规则。否则,请添加表1所示规则。 表1 安全组规则 方向 协议 端口 源地址 说明