检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“新建连接”。 选择“Kafka”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 Brokers地址 填写Kafka的Brokers地址。 认证方式 选择Kafka的认证方式。 SSL认证 无认证 SASL鉴权方式 仅当“认证方式”选择“SSL认证”时需要配置。
单击“新建连接”。 选择“Kafka”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 Brokers地址 填写Kafka的Brokers地址。 认证方式 选择Kafka的认证方式。 SSL认证 无认证 SASL鉴权方式 仅当“认证方式”选择“SSL认证”时需要配置。
Kafka数据源连接失败 原因分析 连接地址填写的是MQS内网地址,且MQS同时开启了SSL与VPC内网明文访问时,“是否SSL”选择了“是”。 解决方案 修改“是否SSL”为“否”。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。 父主题: 数据源
附录:spring-kafka对接限制 概述 spring-kafka兼容开源Kafka客户端,其与开源Kafka客户端的版本对应关系可参见Spring官网。spring-kafka兼容的Kafka客户端版本主要为2.x.x版本,而ROMA Connect消息集成的Kafka服务端版本为1
将生产客户端的Kafka连接地址修改为ROMA Connect实例的消息集成MQS连接地址。 重启生产业务,使得生产者将新的消息发送到ROMA Connect实例中。 观察各消费组在原Kafka的消费进度,直到原Kafka中数据都已经被消费完毕。 将消费客户端的Kafka连接地址修改为ROMA
选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写Kafka的连接地址和端口号。 如果Kafka有多个副本(Broker),可单击“添加地址”填写多个连接地址。 是否SASL_SSL ROMA Connect与Kafka的连接是否使用SASL_SSL认证加密。 用户名/应用Key
描述 填写数据源的描述信息。 机机交互用户名 填写连接MRS Kafka的机机类型用户名。 上传配置文件 单击“上传文件”,上传MRS Kafka配置文件。配置文件获取请参考获取MRS Kafka配置文件。 获取MRS Kafka配置文件 获取“krb5.conf”和“user.keytab”文件。
MRS Kafka 获取MRS Kafka配置文件方法如下: 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件。 获取“fikafka-producer
连接Topic 概述 Topic创建后,您可以使用命令行、开源Kafka客户端等方式连接Topic,并向Topic生产和消费消息。 本章节主要介绍通过命令行方式连接Topic,如果您是使用的开源Kafka客户端,请参考MQS连接开发(开源客户端)。 前提条件 已有可用的Topic,否则请提前创建Topic。
# Kafka topic name. kafka.rest.topic=topic_name_demo # Kafka consume group. kafka.rest.group=group_id_demo # Kafka sasl username. kafka.rest
Connect的消息集成MQS完全兼容开源Kafka协议,业务应用需要开发并集成开源Kafka客户端或ROMA Connect提供的RESTful API,实现与MQS的消息连接。 集成开源客户端:业务应用直接集成开源Kafka客户端,并通过客户端连接MQS,实现消息的生产和消费。 集成RESTful
策略内容:支持表单模式和脚本模式两种方式,脚本模式配置请参见脚本配置示例。 策略基本信息 Broker地址 日志要推送的目标Kafka连接地址列表,多个地址间以英文逗号(,)隔开。 Topic主题 日志要推送的目标Kafka Topic名称。 Key 填写消息的Key值,表示消息存储在Kafka的指定分区
配置说明 策略基本信息 Broker地址 日志要推送的目标Kafka连接地址列表,多个地址间以英文逗号(,)隔开。 Topic主题 日志要推送的目标Kafka Topic名称。 Key 填写消息的Key值,表示消息存储在Kafka的指定分区,可以当成有序消息队列使用。如果Key为空,则消息分布式存储在不同的消息分区。
操作场景 本文介绍C#版本的Kafka客户端连接指导,包括Kafka客户端安装,以及生产、消费消息。 前提条件 已获取MQS连接信息,具体请参见开发准备。 已安装开发工具和C#开发语言环境,具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1.1.0、2.7,您可以在ROMA
操作场景 本文介绍Java版本的Kafka客户端连接指导,并完成客户端连接以及消息生产与消费的相关示例。 前提条件 已获取MQS连接信息,具体请参见开发准备。 已安装开发工具和Java开发语言环境,具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1.1.0、2.7,您可以在ROMA
其他语言客户端使用说明 MQS完全兼容Kafka开源客户端。 如果您使用其他语言,也可以从Kafka官网获取客户端,按照Kafka官网提供的连接说明,与MQS对接。 获取客户端的地址请参考Kafka官网。 父主题: MQS连接开发(开源客户端)
CentOS环境为例,介绍Python版本的Kafka客户端连接指导,包括Kafka客户端安装,以及生产、消费消息。 前提条件 已获取MQS连接信息,具体请参见开发准备。 已安装开发工具和Python开发语言环境,具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1.1.0、2.7,您可以在ROMA
MQS支持的Kafka服务端版本是多少? MQS支持Kafka 1.1.0、2.7版本。 父主题: 消息集成
CentOS环境为例,介绍Go版本的Kafka客户端连接指导,包括Kafka客户端安装,以及生产、消费消息。 前提条件 已获取MQS连接信息,具体请参见开发准备。 已安装开发工具和Python开发语言环境,具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1.1.0、2.7,您可以在ROMA
后单击“确定” 表1 连接器配置 参数 配置说明 连接器实例名称 填写连接器实例的名称,根据规划自定义。建议您按照一定的命名规则填写连接器实例名称,方便您快速识别和查找。 连接地址 已部署连接器的访问地址。 认证方式 选择访问连接器实例所使用的安全认证方式,为简单起见,此处选择“无”。