正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka Client 功能 通过Kafka Client向Kafka的Topic中发送数据。 您可以参考跨空间进行作业调度,获取Kafka Client节点的使用案例。 参数 用户可参考表1配置Kafka Client节点的参数。 表1 属性参数 参数 是否必选 说明 数据连接
在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称,进入实例详情页面。 在“基本信息”页面的“连接信息”区域,获取并记录Kafka实例的内网连接地址。在“网络”区域,获取并记录Kafka实例所在的虚拟私有云和子网。
如果Kafka实例未开启自动创建Topic功能,在连接实例前,请先创建Topic,否则会连接失败。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本,确保Kafka实例版本与命令行工具版本相同。
访问Kafka Manager Kafka Manager是开源的Kafka集群管理工具,需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面,您可以查看Kafka集群的监控、代理等信息。 2023年5月17日及以后创建的实例不提供Kafka M
Kafka实例是否支持跨VPC访问? Kafka实例支持跨VPC访问,您可以通过以下任意一个方式实现跨VPC访问: 创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考VPC对等连接说明。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kaf
Kafka连接问题排查和解决 概述 本章节主要描述Kafka连接问题的排查和解决。 问题分类 当您发现与Kafka实例连接出现异常时,可以根据本文的内容,从以下几个方面进行排查。 检查网络 检查Consumer和Producer的配置 客户端连接问题-Java客户端 客户端连接问题-Go客户端
如果是使用内网通过同一个VPC访问,Kafka连接地址如下图所示。 图1 使用内网通过同一个VPC访问Kafka实例的连接地址(内网连接地址) 图2 使用内网通过同一个VPC访问Kafka实例的连接地址(内网密文连接地址) 如果是公网访问,Kafka连接地址如下图所示。 图3 公网访问Kafka实例的连接地址(公网连接地址)
单个代理客户端总连接数上限 kafka.2u4g.cluster.small 2000 kafka.2u4g.single.small 2000 kafka.2u4g.cluster 2000 kafka.2u4g.single 2000 kafka.4u8g.cluster 4000
跨VPC访问Kafka实例原理图 步骤一:创建终端节点服务 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称,进入实例详情页面。
与开源Kafka的差异 分布式消息服务Kafka版在兼容开源Kafka基础上,对版本特性做了一定程度的定制和增强,所以,除了拥有开源Kafka的优点,分布式消息服务Kafka版提供了更多可靠、实用的特性。 表1 分布式消息服务Kafka版与开源Kafka的差异说明 对比类 对比项
客户端连接Kafka实例的方式如表1所示。 表1 连接方式说明 连接方式 实现方式 参考文档 公网连接 客户端通过IPv4地址访问Kafka实例:在Kafka控制台开启公网访问,配置弹性公网IP,客户端通过弹性公网IP访问Kafka实例。 客户端通过IPv6地址访问Kafka实例:在
华为云 分布式消息服务Kafka版 分布式消息服务Kafka版(Distributed Message Service for Kafka)是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 免费体验 图说Kafka 立即使用
Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题: MRS应用开发开源jar包冲突列表说明
Kafka Shell命令介绍 前提条件 Kafka的Linux客户端已安装。安装方法可参考安装客户端。 常用的Shell命令指南 Shell命令执行方法: 进入Kafka客户端任意目录。 初始化环境变量。 source /opt/client/bigdata_env 如果当前集
登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例的“基本信息”页面。 在“公网访问”后,
服务介绍 分布式消息服务Kafka版 介绍什么是分布式消息服务 04:19 分布式消息服务介绍 特性讲解 分布式消息服务Kafka版 介绍消息积压诊断功能 03:18 消息积压诊断 操作指导 分布式消息服务Kafka版 介绍怎样购买Kafka实例 07:58 购买Kafka实例 分布式消息服务Kafka版
执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令,配置环境变量。 source /opt/client/bigdata_env 执行以下命令,进行用户认证。
使用Kafka Shell命令无法操作Kafka集群 问题背景与现象 用户执行Kafka命令查看当前topic信息,但发现业务执行失败。 具体信息如下: root@Slave2bin]#./kafka-topics.sh --describe --topic example-metric1
在“配置资源权限”的表格中选择“待操作集群的名称 > Kafka > Kafka Topic生产和消费权限”。 在指定Topic的“权限”列,勾选“Kafka生产者权限”。 设置用户对Topic的消费权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Kafka > Kafka Topic生产和消费权限”。
已安装Kafka客户端,客户端安装目录如“/opt/client”。 本示例需创建两个Topic,可参考7,分别命名为“test_2”和“test_3”,并创建“move-kafka-topic.json”文件,创建路径如“/opt/client/Kafka/kafka”,Topic格式内容如下: