检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是
Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是
将生产客户端的Kafka连接地址修改为ROMA Connect实例的消息集成MQS连接地址。 重启生产业务，使得生产者将新的消息发送到ROMA Connect实例中。 观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。 将消费客户端的Kafka连接地址修改为ROMA
MRS Kafka 获取MRS Kafka配置文件方法如下： 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件，在MRS Manager下载用户认证文件，解压后得到“krb5.conf”和 “user.keytab”文件。 获取“fikafka-producer
填写数据源的描述信息。 机机交互用户名 填写连接MRS Kafka的机机类型用户名。 上传配置文件 单击“上传文件”，上传MRS Kafka配置文件。配置文件获取请参考获取MRS Kafka配置文件。 获取MRS Kafka配置文件 获取“krb5.conf”和“user.keytab”文件。
接入Kafka数据源 概述 ROMA Connect支持把Kafka作为一个数据源，并用于数据集成任务。在使用Kafka数据源前，您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下，在接入数据源前您需要有可用的集成应用，否则请提前创建集成应用。 操作步骤 登录ROMA
附录：spring-kafka对接限制 概述 spring-kafka兼容开源Kafka客户端，其与开源Kafka客户端的版本对应关系可参见Spring官网。spring-kafka兼容的Kafka客户端版本主要为2.x.x版本，而ROMA Connect消息集成的Kafka服务端版本为1
MQS支持的Kafka服务端版本是多少？ MQS支持Kafka 1.1.0、2.7版本。 父主题： 消息集成
目标端数据源为公网Kafka时，定时任务目标端报“The task executes failed.Writer data to kafka failed”错误 原因分析 目标端数据源为公网Kafka时，由于网络原因导致定时任务报“The task executes failed
Kafka日志推送插件说明 概述 ROMA Connect支持收集服务集成下已开放API的调用日志信息。Kafka日志推送插件提供了把API的详细调用日志推送到Kafka的能力，方便用户获取API的调用日志信息。 使用限制 同一个API在同一个环境中只能绑定一个相同类型的插件策略，已被API绑定的插件策略无法删除。
配置Kafka日志推送策略 ROMA Connect支持通过插件策略的方式，为API提供灵活的扩展能力。Kafka日志推送策略提供了把API的详细调用日志推送到Kafka的能力，方便用户获取API的调用日志信息。 插件策略和API本身相互独立，只有为API绑定插件策略后，插件策略
Kafka数据源连接失败 原因分析 连接地址填写的是MQS内网地址，且MQS同时开启了SSL与VPC内网明文访问时，“是否SSL”选择了“是”。 解决方案 修改“是否SSL”为“否”。 如果排除以上问题后，仍然连接失败，可参考数据源连接测试失败排查操作进行问题排查。 父主题： 数据源
机制，提供跨网络访问的安全、标准化消息通道。使用ROMA Connect进行消息集成，有如下优势： 支持原生Kafka特性 兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。 支持安全的消息传输 独有的安全加固体系，提供业务操作云端审计，消息传输加密等有效安全措
ROMA Connect的消息集成MQS完全兼容开源Kafka协议，业务应用需要开发并集成开源Kafka客户端或ROMA Connect提供的RESTful API，实现与MQS的消息连接。 集成开源客户端：业务应用直接集成开源Kafka客户端，并通过客户端连接MQS，实现消息的生产和消费。
定时数据集成任务执行成功后，根据配置发送消息至Kafka或MRS Kafka。第三方平台（比如DataArts Studio）可以通过订阅Kafka或MRS Kafka获取消息，并根据实际需要选择是否执行数据抽取任务。 本章节介绍任务执行完成后，如何配置消息发送，如果不需要发送消息可不配置。
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置，源端字段类型的长度超出目标端字段类型的长度限制，或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
其他语言客户端使用说明 MQS完全兼容Kafka开源客户端。 如果您使用其他语言，也可以从Kafka官网获取客户端，按照Kafka官网提供的连接说明，与MQS对接。 获取客户端的地址请参考Kafka官网。 父主题： MQS连接开发（开源客户端）
Kafka到Mysql的实时任务时，MQS中的Topic下有数据，但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址，所以本实例下的MQS中虽然有消息，但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置，修改数据源配置为正确的MQS地址。
stringify(res); } 构造器详情 public KafkaConsumer(Map configs) 构造一个Kafka消息消费者 参数：configs表示Kafka的配置信息 方法列表 返回类型 方法和说明 List<String> consume(String topic,
操作场景 本文介绍C#版本的Kafka客户端连接指导，包括Kafka客户端安装，以及生产、消费消息。 前提条件 已获取MQS连接信息，具体请参见开发准备。 已安装开发工具和C#开发语言环境，具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1.1.0、2.7，您可以在ROMA
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
