检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备本地应用开发环境 Kafka开发应用时，需要准备的开发和运行环境如表1所示： 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
代码样例 以下为用于实现Producer API向安全Topic生产消息的代码片段。 详细内容在com.huawei.bigdata.kafka.example.Producer类的run方法中。 /** * 生产者线程执行函数,循环发送消息。 */ public void
Kafka集群监控管理 Kafka集群监控管理包含以下内容： 查看Broker信息 查看Topic信息 查看Consumers信息 通过KafkaManager修改Topic的partition 查看Broker信息 登录KafkaManager的WebUI界面。 在集群列表页面
以下为用于实现使用Consumer API订阅安全Topic，并进行消息消费的代码片段。 详细内容在com.huawei.bigdata.kafka.example.Consumer类中。 /** * Consumer构造函数。 * @param topic 订阅的Topic名称。
不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。 开发环境安装Mave环境，安装版本3.0.0以上。 父主题： 准备Kafka应用开发环境
Flink Kafka样例程序（Java） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
config /opt/client/Kafka/kafka/config/producer.properties 重新打开一个客户端连接窗口。 cd /opt/client source bigdata_env 执行命令消费Topic1中的消息。 kafka-console-consumer
cd /opt/client source bigdata_env 创建用于接收数据的Kafka topic。 kafka-topics.sh --create --zookeeper quorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka --replication-factor
代码样例 以下为用于实现Producer API向安全Topic生产消息的代码片段。 详细内容在com.huawei.bigdata.kafka.example.Producer类的run方法中。 /** * 生产者线程执行函数,循环发送消息。 */ public void
开发思路 启动Flink Kafka Producer应用向Kafka发送数据。 启动Flink Kafka Consumer应用从Kafka接收数据，保证topic与producer一致。 在数据内容中增加前缀并进行打印。 父主题： Flink Kafka样例程序
同一个用户。 安全模式下，kafka需要用户有相应Topic的访问权限，因此首先需要给用户赋权，再提交拓扑。 拓扑提交成功后，可以向Kafka中发送数据，观察是否有相关信息生成。 在Linux系统中进入Kafka客户端所在目录，在Kafka/kafka/bin目录下启动consumer观察数据是否生成。执行命令：
准备本地应用开发环境 Kafka开发应用时，需要准备的开发和运行环境如表1所示： 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
业务jar包，请参见打包Strom应用业务。 进入Linux系统中进入Kafka客户端所在目录，在Kafka/kafka/bin目录下使用Kafka客户端创建拓扑中所用到的Topic，执行命令： ./kafka-topics.sh --create --topic input --partitions
Flink Kafka样例程序（Java） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
产生告警的Flume Client无法与Flume Server端进行通信，Flume Client端的数据无法传输到Flume Server端。 可能原因 Flume Client端与Flume Server端网络故障。 Flume Client端进程故障。 Flume Client端配置错误。
Kafka开发指南 Kafka应用开发概述 准备Kafka应用开发环境 开发Kafka应用 调测Kafka应用 Kafka应用开发常见问题
客户端Producer侧采用非安全访问，Kafka Topic设置ACL。 原因分析 Producer发送数据到Kafka失败，可能原因客户端Producer侧问题或者Kafka侧问题。 查看Kafka服务状态： MRS Manager界面操作：登录MRS Manager，依次选择“服务管理 > Kafka”，查
Streaming任务提交问题 问题现象 连接Kafka报类找不到。 连接带Kerberos的Kafka，报认证错误。 SparkStreaming任务运行一段时间后开始报TOKEN过期问题。 原因分析 问题1：Spark提交任务默认不会加载kafka的相关包，所以需要在启动命令中增加--
Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的，在写入数据后，用户开发一个应用，以消费者调用新接口（org.apache.kafka.clients.consumer.*）到Kafka上读取数据，但读取失败，报异常大致如下： ...
确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。 启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
