-
Go - 分布式消息服务Kafka版
5版本的Kafka客户端连接指导,包括demo代码库的获取,以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 执行以下命令,检查是否已安装Go。 go version 返回如下回显时,说明Go已经安装。 [root@ecs-test confluent-kafka-go]#
-
消息超过老化时间,消息仍存在的原因 - 分布式消息服务Kafka版
“配置参数”中的log.retention.hours值才会对此Topic生效。),消息仍存在。 可能原因1:Topic的每个分区都是由多个大小相同的segment文件组成,每个segment文件的大小为500MB,当segment文件存储的消息大小到达500MB后,才会新建下
-
Logstash对接Kafka生产消费消息 - 分布式消息服务Kafka版
Logstash对接Kafka生产消费消息 应用场景 Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节主要介绍
-
修改Kafka分区平衡 - 分布式消息服务Kafka版
方法,请参考带宽限制值估算方法。 在“执行时间”中,选择分区平衡任务执行的时间。“立即执行”表示立即执行分区平衡任务。“定时执行”表示在指定的时间执行分区平衡任务。 图1 设置自动平衡参数 (可选)单击“一键测算”,在“预估耗时”中,显示执行自动平衡大概需要的时间。 单击“确定”。
-
连接Kafka网络要求 - 分布式消息服务Kafka版
打通VPC之间的网络。 客户端连接Kafka实例的方式如表1所示。 表1 连接方式说明 连接方式 实现方式 参考文档 公网连接 在Kafka控制台开启公网访问,配置弹性公网IP,客户端通过弹性公网IP访问Kafka实例。 配置Kafka实例的公网访问 使用DNAT通过端口映射方式
-
删除Kafka消费组 - 分布式消息服务Kafka版
方法二:使用命令行工具删除消费组 以下操作命令以Linux系统为例进行说明: 下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本,确保Kafka实例版本与命令行工具版本相同。 使
-
Kafka是否支持跨AZ容灾?已经购买的实例在哪里查看是否为跨AZ? - 分布式消息服务Kafka版
Kafka是否支持跨AZ容灾?已经购买的实例在哪里查看是否为跨AZ? Kafka实例支持跨AZ容灾,在购买实例时,选择多个可用区即可实现跨AZ容灾。 已购买的实例,在实例详情页“基本信息”页面的“网络”区域,查看可用区数量。多于一个可用区时,表示已实现跨AZ容灾。 图1 实例基本信息 父主题: 实例问题
-
在Windows服务器中无法登录Kafka Manager - 分布式消息服务Kafka版
检查Windows服务器和Kafka实例是否在同一个VPC同一个子网内? 是,执行2。 否,修改Windows服务器的VPC和子网,与Kafka实例一致。 检查安全组是否配置正确?安全组的配置请参考选择和配置安全组。 是,执行3。 否,修改安全组配置。 在Kafka实例控制台,重启Kafka
-
查看Kafka重平衡日志 - 分布式消息服务Kafka版
ID。Generation等同于消费组执行Rebalance的次数,每次Rebalance完成后,Generation都会增加1。 reason 触发Rebalance的原因 groupId 消费组ID coordinatorId Coordinator组件所在的Broker type
-
Kafka实例批量删除Topic - 分布式消息服务Kafka版
Kafka实例批量删除Topic 功能介绍 该接口用于向Kafka实例批量删除Topic。批量删除多个Topic时,部分删除成功,部分失败,此时接口返回删除成功,并在返回中显示删除失败的Topic信息。 调用方法 请参见如何调用API。 URI POST /v2/{project
-
删除Kafka实例 - 分布式消息服务Kafka版
勾选Kafka实例名称左侧的方框,可选一个或多个,单击信息栏左上侧的“删除”。 在待删除Kafka实例所在行,单击“更多 > 删除”。 单击Kafka实例名称,进入实例详情页面。单击右上角的“更多 > 删除”。 Kafka实例状态为创建中、启动中、变更中、变更失败、重启中时不允许执行删除操作。 在“删除
-
实例状态说明 - 分布式消息服务Kafka版
申请实例后,在实例状态进入运行中之前的状态。 RUNNING 实例正常运行状态。在这个状态的实例可以运行您的业务。 ERROR 实例处于故障的状态。 RESTARTING 实例正在进行重启操作。 STARTING 实例从已冻结到运行中的中间状态。 EXTENDING 实例正在进行规格变更操作。
-
手动续费 - 分布式消息服务Kafka版
通过以下任意一种方法,为Kafka实例续费。 勾选Kafka实例名称左侧的方框,可选一个或多个,单击信息栏左上侧的“续费”,弹出“续费”对话框,单击“是”,跳转到“续费”页面。 在待续费的Kafka实例所在行,单击“更多 > 续费”,跳转到“续费”页面。 单击Kafka实例名称,进入实例详
-
配置Kafka数据转储至OBS - 分布式消息服务Kafka版
Connect任务的名称,用于区分不同的Smart Connect任务。 在“预置类型”中,选择“转储”。 在“立即执行”中,选择任务创建后是否立即执行任务,默认开启立即执行。如果关闭,在需要执行此任务时,您可以在Smart Connect任务列表中手动开启任务。 在“源端配置”中,保持默认设置。
-
按需转包年/包月 - 分布式消息服务Kafka版
Kafka实例计费模式为“按需计费”。 Kafka实例状态为“运行中”。 操作步骤 登录管理控制台。 单击左侧导航栏的图标,选择“应用中间件 > 分布式消息服务Kafka版”。 通过以下任意一种方法,实现按需实例转包周期。 勾选Kafka实例名称左侧的方框,可选一个或多个,单击信息栏左上侧的“转包周期”,弹
-
修改Kafka Topic配置 - 分布式消息服务Kafka版
pic列表页面。 通过以下任意一种方法,修改Topic配置。 勾选Topic名称左侧的方框,可选一个或多个,单击信息栏左上侧的“编辑Topic”。 在待修改配置的Topic所在行,单击“编辑”。 在“编辑Topic”对话框中,修改Topic的配置,单击“确定”。 当副本数为1时,不能开启同步复制功能。
-
消费者消费Topic失败,提示没有权限? - 分布式消息服务Kafka版
消费者消费Topic失败,提示没有权限? 问题现象:同一个消费组内有多个消费者,为每个消费者授权不同的Topic访问权限,某一消费者消费其中一个Topic时,提示消费失败,报错信息如下:Not authorized to access topics。 问题原因:消费组的leader在进行分区分配时,不会考虑某一个消费
-
查看Kafka实例后台任务 - 分布式消息服务Kafka版
示相应时间段内启动的任务。 在后台任务管理页面,您还可以执行以下操作: 单击,刷新任务状态。 单击“删除”,弹出“删除任务记录”对话框,单击“确定”,清理任务信息。 任务处于以下两种情况时,才能执行删除操作。 任务已经执行完成,即任务状态为成功或者失败。 定时任务已经取消,即任务状态为取消。
-
配置Kafka网络连接 - 分布式消息服务Kafka版
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题: 连接实例
-
Kafka相关概念 - 分布式消息服务Kafka版
为了实现水平扩展与高可用,Kafka将Topic划分为多个分区,消息被分布式存储在分区中。 副本(Replica) 消息的备份存储。为了确保消息可靠,Kafka创建Topic时,每个分区会分别从代理中选择1个或多个,对消息进行冗余存储。 Topic的所有消息分布式存储在各个分区上