云服务器内容精选

华为云首页用户手册

生态组件对接

MAPREDUCE服务 MRS-使用Kafka Eagle对接MRS Kafka:Kafka Eagle对接常见问题

Kafka Eagle对接常见问题问题现象：无法获取Kafka CPU与内存监控信息日志提示。 java.io.IOException cannot be cast to javax.management.remote.JMXConnector 问题原因： jmx地址配置错误。默认jmx地址为： cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/jmxrmi 解决办法： MRS 内Kafka jmx名称为kafka，需要设置为： cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/kafka

MAPREDUCE服务 MRS 生态组件对接
MAPREDUCE服务 MRS-使用Kafka Eagle对接MRS Kafka:步骤二：启动EFAK服务验证对接结果

步骤二：启动EFAK服务验证对接结果启动EFAK服务。 sh /opt/efak/efak-web-3.0.1/bin/ke.sh start 启动成功显示如下，获取EFAK WebUI登录地址。使用获取到的登录地址，访问EFAK WebUI界面。访问EFKA WebUI界面默认初始账号密码admin/123456 登录后可以查看Kafka集群监控页面、Topic监控页面、Consumer监控页面，例如：图3 Kafka集群监控图4 Topic监控图5 Consumer监控

MAPREDUCE服务 MRS 生态组件对接
MAPREDUCE服务 MRS-使用Kafka Eagle对接MRS Kafka:方案架构

方案架构 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。生产者（Producer）将消息发布到Kafka主题（Topic）上，消费者（Consumer）订阅这些主题并消费这些消息。在Kafka集群上一个服务器称为一个Broker。对于每一个主题，Kafka集群保留一个用于缩放、并行化和容错性的分区（Partition）。每个分区是一个有序、不可变的消息序列，并不断追加到提交日志文件。分区的消息每个也被赋值一个称为偏移顺序（Offset）的序列化编号。图1 Kafka结构

MAPREDUCE服务 MRS 生态组件对接
MAPREDUCE服务 MRS-使用DBeaver访问HetuEngine:前提条件

前提条件 DBeaver已正常安装。DBeaver软件下载链接：https://dbeaver.io/files/7.2.0/ 。已在集群中创建“人机”用户，如hetu_user，可参考创建HetuEngine用户。启用Ranger鉴权的集群需根据业务需求为该hetu_user添加Ranger权限，可参考添加HetuEngine的Ranger访问权限策略。已创建计算实例并运行正常，可参考创建HetuEngine计算实例。

MAPREDUCE服务 MRS 生态组件对接