检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
偏移量之前开始向新增加的分区发送消息,从而导致部分消息丢失。 connections.max.idle.ms 600000 30000 空连接的超时时间(单位为ms),设置为30000可以在网络异常场景下减少请求卡顿的时间。 max.poll.records 500 需小于max
的SSL证书是同一个。 获取SSL证书的方法如下: 在Kafka控制台,单击实例名称,进入实例详情页。 在“连接信息 > SSL证书”所在行,单击“下载”。 父主题: 连接问题
Python 本文以Linux CentOS环境为例,介绍Python版本的Kafka客户端连接指导,包括Kafka客户端安装,以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 Python 一般系统预装了Python,您可以在命令行输入pytho
接使用kafka开源客户端连接。如果“kafka安全协议”设置为“SASL_SSL”,则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集,如获取实例连接地址、Topic名称等,然后提供Java、Python和Go等语言的连接示例。 本指南的示例仅展示
查看Kafka消费者信息 如果消费组中存在正在连接Kafka实例的消费者,可查看消费组中该消费者的连接信息。 约束与限制 Kafka Manager由于缓存原因,显示的消费者连接地址可能不是当前消费者连接地址,建议重启Kafka Manager解决。 2023年5月17日及以后创建的实例不提供Kafka
证) 参数名 获取途径 内网连接地址 在Kafka实例详情页的“连接信息”区域,获取“内网连接地址”。 开启的SASL认证机制 在Kafka实例详情页的“连接信息”区域,获取“开启的SASL认证机制”。 启用的安全协议 在Kafka实例详情页的“连接信息”区域,获取“启用的安全协议”。
创建一台与Kafka实例相同VPC和相同安全组的Windows服务器,详细步骤请参考购买并登录Windows弹性云服务器。 如果是已经开启了公网访问,该步骤为可选,在本地浏览器中即可访问,不需要单独的Windows弹性云服务器。 在实例详情信息页面,获取Kafka Manager地址。
本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。 在pom.xml文件中引入spring-kafka依赖
性。 弹性云服务器(Elastic Cloud Server) 弹性云服务器是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。Kafka实例运行在弹性云服务器上,一个代理对应一台弹性云服务器。 云硬盘(Elastic Volume Service) 云硬盘为云服务器提供块存
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
本文介绍Maven方式引入Kafka客户端,并完成Kafka实例连接以及消息生产与消费的相关示例。如果您需要在IDE中查看Demo具体表现,请查看Java开发环境搭建。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。 Maven中引入Kafka客户端
rrorMaker,否则会导致数据在Topic内无限循环复制。 实施步骤 购买一台弹性云服务器,确保弹性云服务器与源集群、目标集群网络互通。具体购买操作,请参考购买弹性云服务器。 登录弹性云服务器,安装Java JDK,并配置JAVA_HOME与PATH环境变量,使用执行用户在用户家目录下修改“
5版本的Kafka客户端连接指导,包括demo代码库的获取,以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 执行以下命令,检查是否已安装Go。 go version 返回如下回显时,说明Go已经安装。 [root@ecs-test confluent-kafka-go]#
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买如下参数的2台ECS服务器,具体步骤请参考购买弹性云服务器。 区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,规格为4U8G,Linux系统的ECS。 区域、虚拟私有云、子网、安全组与Kafka实例保
broker_connections 连接数 统计Kafka节点当前所有TCP连接数量。 单位:Count 2020年4月及以后购买的实例,支持此监控项。 0~65535 Kafka实例节点 1分钟 broker_cpu_usage CPU使用率 统计Kafka节点虚拟机的CPU使用率。 单位:%
购买Kafka实例 分布式消息服务Kafka版 介绍怎样连接未开启SASL的Kafka实例 04:57 连接未开启SASL的Kafka实例 分布式消息服务Kafka版 介绍怎样连接开启SASL_SSL的Kafka实例 06:16 连接开启SASL_SSL的Kafka实例 分布式消息服务Kafka版
Kafka实例依赖ZK进行管理,开放ZK可能引发误操作导致业务受损,ZK仅Kafka内部使用,不对外提供服务。 您可使用Kafka开源客户端连接Kafka实例,调用原生API生产与消费消息。 父主题: 实例问题
如何修改安全协议? 修改企业项目,是否会导致Kafka重启? 100MB/s的带宽怎样开启公网访问? Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署? Kafka包周期实例支持删除吗? Kafka支持哪些加密套件? 购买实例时选择的单AZ,怎样可以扩展为多AZ? Kaf
该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 出现该告警时,需要修改实例存储空间。具体操作,请参考变更实例规格。 broker_cpu_core_load CPU核均负载 节点 告警阈值:原始值>2 连续触发次数:3 告警级别:重要 该指标为从Kafka节点虚拟机层面采集的CPU每个核的平均负载。
重启Kafka实例大约需要3到15分钟。Kafka实例重启成功后,实例状态切换为“运行中”。 重启Kafka实例只会重启实例进程,不会重启实例所在虚拟机。 父主题: 管理实例