检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka运维管理 Kafka常用配置参数 Kafka日志介绍 更改Kafka Broker的存储目录 迁移Kafka节点内数据 使用Kafka流控工具限制生产消费速度 配置积压告警规则 父主题： 使用Kafka
Kafka运维管理 Kafka常用配置参数 Kafka日志介绍 更改Broker的存储目录 迁移Kafka节点内数据 均衡Kafka扩容节点后数据 父主题： 使用Kafka
at kafka.Kafka.main(Kafka.scala) Kafka要求replica.fetch.max.bytes需要大于等于message.max.bytes。 进入Kafka配置页面，选择“全部配置”， 显示所有Kafka相关配置，分别搜索message.max
服务 > Kafka > 实例”，勾选所有Broker实例，单击“启动实例”。 给MRS服务集群的Broker节点分别绑定EIP。 在Windows通过已配置的Broker节点EIP地址和端口连接到Kafka集群并调试代码。 运行样例代码前，修改样例代码中Kafka的连接串为hostname1:9092
Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色，其应用开发流程是相同的。 开发流程中各个阶段的说明如图1和表1所示。 图1 Kafka客户端程序开发流程 表1 Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发环境 Ka
服务 > Kafka > 实例”，勾选所有Broker实例，单击“启动实例”。 给MRS服务集群的Broker节点分别绑定EIP。 在Windows通过已配置的Broker节点EIP地址和端口连接到Kafka集群并调试代码。 运行样例代码前，修改样例代码中Kafka的连接串为hostname1:21007
准备Kafka应用开发环境 准备本地应用开发环境 准备连接Kafka集群配置文件 导入并配置Kafka样例工程 配置Kafka应用安全认证 父主题： Kafka开发指南（安全模式）
准备Kafka应用开发环境 准备本地应用开发环境 准备连接Kafka集群配置文件 导入并配置Kafka样例工程 父主题： Kafka开发指南（普通模式）
Kafka常用API介绍 Kafka Shell命令介绍 Kafka Java API介绍 父主题： Kafka应用开发常见问题
否 在日志中输出上传kafka成功与失败数据的数量统计的时间间隔，单位为秒 60 kafka.bootstrap.servers 是 kafka代理节点地址，配置形式为HOST:PORT[,HOST:PORT] - kafka_topic 否 写入kafka的topic名称 maxwell
Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点：
Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 配置外网客户端访问Kafka Broker 父主题： 使用Kafka
offsets。 可能原因 Kafka服务异常。 网络异常。 Kafka Topic异常。 原因分析 通过Manager页面，查看Kafka集群当前状态，发现状态为“良好”，且监控指标内容显示正确。 查看SparkStreaming日志中提示错误的Topic信息。 执行Kafka相关命令，获取
准备开发和运行环境 Kafka的客户端程序当前推荐使用java语言进行开发，可使用IntelliJ IDEA工具开发。 Kafka的运行环境即Kafka客户端，请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接M
名信息。 准备连接Kafka集群配置文件 配置并导入样例工程 Kafka提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 导入并配置Kafka样例工程 配置安全认证 如果您使用的是开启了Kerberos认证的MRS集群，需要进行安全认证。 配置Kafka应用安全认证 根据业务场景开发程序
Flink Kafka样例程序（Java） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.ja
92.36:2181/kafka Created topic "test". [root@10-10-144-2 client]# kafka-topics.sh --describe --zookeeper 10.6.92.36:2181/kafka Topic:test
关权限，请参考Kafka用户权限说明。 在“KafkaManager WebUI”右侧，单击URL链接，访问KafkaUI的页面。 在菜单栏单击“Alarms”，进入Kafka积压告警页面。 单击“Create Lag Alarm”，根据界面提示新建一条Kafka消息积压告警的规则，单击“Create”。
否 在日志中输出上传kafka成功与失败数据的数量统计的时间间隔，单位为秒 60 kafka.bootstrap.servers 是 kafka代理节点地址，配置形式为HOST:PORT[,HOST:PORT] - kafka_topic 否 写入kafka的topic名称 maxwell
通过Manager查看Kafka服务是否处于正常状态。 检查客户端命令中ZooKeeper地址是否正确，访问ZooKeeper上所存放的Kafka信息，其路径（Znode）应该加上/kafka，发现配置中缺少/kafka： [root@10-10-144-2 client]# kafka-topics
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
