Manager结构介绍
MRS为用户提供海量数据的管理及分析功能,快速从结构化和非结构化的海量数据中挖掘您所需要的价值数据。开源组件结构复杂,安装、配置、管理过程费时费力,使用Manager将为您提供企业级的集群的统一管理平台。
Manager的整体结构如下图所示。
Manager由OMS和OMA组成:
- OMS:操作维护系统的管理节点,OMS一般有两个,互为主备。
- OMA:操作维护系统中的被管理节点,一般有多个。
图中各模块的说明如下表所示:
模块名称
|
描述
|
---|---|
Web Service |
是一个部署在Tomcat下的Web服务,提供Manager的https接口,用于通过浏览器访问Manager。同时还提供基于Syslog和SNMP协议的北向接入能力。 |
OMS |
操作维护系统的管理节点,OMS节点一般有两个,互为主备。 |
OMA |
操作维护系统中的被管理节点,一般有多个。 |
Controller |
Controller是Manager的控制中心,负责汇聚来自集群中所有节点的信息,统一向MRS集群管理员展示,以及负责接收来自MRS集群管理员的操作指令,并且依据操作指令所影响的范围,向集群的所有相关节点同步信息。 |
Node Agent |
Node Agent存在于每一个集群节点,是Manager在单个节点的使能器。
Node Agent每隔3秒向Controller发送心跳信息,不支持配置时间间隔。 |
IAM |
负责记录审计日志。在Manager的UI上每一个非查询类操作,都有对应的审计日志。 |
PMS |
性能监控模块,搜集每一个OMA上的性能监控数据并提供查询。 |
CEP |
汇聚功能模块。比如将所有OMA上的磁盘已用空间汇总成一个性能指标。 |
FMS |
告警模块,搜集每一个OMA上的告警并提供查询。 |
OMM Agent |
OMA上面性能监控和告警的Agent,负责收集该Agent Node上的性能监控数据和告警数据。 |
CAS |
统一认证中心,登录Web Service时需要在CAS进行登录认证,浏览器通过URL自动跳转访问CAS。 |
AOS |
权限管理模块,管理用户和用户组的权限。 |
ACS |
用户和用户组管理模块,管理用户及用户归属的用户组。 |
Kerberos |
在OMS与集群中各部署一个。 OMS Kerberos提供单点登录及Controller与Node Agent间认证的功能。 集群中Kerberos提供组件用户安全认证功能,其服务名称为KrbServer,包含两种角色实例:
|
Ldap |
在OMS与集群中各部署一个。
|
Database |
Manager的数据库,负责存储日志、告警等信息。 |
HA |
高可用性管理模块,主备OMS通过HA进行主备管理。 |
NTP Server NTP Client |
负责同步集群内各节点的系统时钟。 |
Manager关键特性
-
Manager提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标,并评测集群健康状态,同时提供性能指标的定制化显示功能及指标转换告警方法。Manager可监控所有组件的运行情况,并在故障时实时上报告警。通过界面的联机帮助,用户可以查看性能指标和告警恢复的详细方法,进行快速排障。
Manager提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标,并评测集群健康状态,同时提供性能指标的定制化显示功能及指标转换告警方法。Manager可监控所有组件的运行情况,并在故障时实时上报告警。通过界面的联机帮助,用户可以查看性能指标和告警恢复的详细方法,进行快速排障。
-
Manager提供系统中各组件的权限集中管理功能。
Manager引入角色的概念,采用RBAC的方式对系统进行权限管理,集中呈现和管理系统中各组件零散的权限功能,并且将各个组件的权限以权限集合(即角色)的形式组织,形成统一的系统权限概念。这样一方面对普通用户屏蔽了内部的权限管理细节,另一方面对MRS集群管理员简化了权限管理的操作方法,提升了权限管理的易用性和用户体验。
Manager提供系统中各组件的权限集中管理功能。
Manager引入角色的概念,采用RBAC的方式对系统进行权限管理,集中呈现和管理系统中各组件零散的权限功能,并且将各个组件的权限以权限集合(即角色)的形式组织,形成统一的系统权限概念。这样一方面对普通用户屏蔽了内部的权限管理细节,另一方面对MRS集群管理员简化了权限管理的操作方法,提升了权限管理的易用性和用户体验。
-
提供Manager WebUI与组件WebUI之间的单点登录,以及MRS与第三方系统集成时的单点登录。
此功能统一了Manager系统用户和组件用户的管理及认证。整个系统使用LDAP管理用户,使用Kerberos进行认证,并在OMS和组件间各使用一套Kerberos和LDAP的管理机制,通过CAS实现单点登录(包括单点登录和单点登出)。用户只需要登录一次,即可在Manager WebUI和组件Web UI之间,甚至第三方系统之间进行任务跳转操作,无需切换用户重新登录。
提供Manager WebUI与组件WebUI之间的单点登录,以及MRS与第三方系统集成时的单点登录。
此功能统一了Manager系统用户和组件用户的管理及认证。整个系统使用LDAP管理用户,使用Kerberos进行认证,并在OMS和组件间各使用一套Kerberos和LDAP的管理机制,通过CAS实现单点登录(包括单点登录和单点登出)。用户只需要登录一次,即可在Manager WebUI和组件Web UI之间,甚至第三方系统之间进行任务跳转操作,无需切换用户重新登录。
-
Manager为用户提供界面化的系统运行环境自动检查服务,帮助用户实现一键式系统运行健康度巡检和审计,保障系统的正常运行,降低系统运维成本。用户查看检查结果后,还可导出检查报告用于存档及问题分析。
Manager为用户提供界面化的系统运行环境自动检查服务,帮助用户实现一键式系统运行健康度巡检和审计,保障系统的正常运行,降低系统运维成本。用户查看检查结果后,还可导出检查报告用于存档及问题分析。
-
Manager引入了多租户的概念,集群拥有的CPU、内存和磁盘等资源,可以整合规划为一个集合体,这个集合体就是租户。多个不同的租户统称多租户。
多租户功能支持层级式的租户模型,支持动态的添加和删除租户,实现资源的隔离,可以对租户的计算资源和存储资源进行动态配置和管理。
- 计算资源指租户Yarn任务队列资源,可以修改任务队列的配额,并查看任务队列的使用状态和使用统计。
- 存储资源目前支持HDFS存储,可以添加删除租户HDFS存储目录,设置目录的文件数量配额和存储空间配额。
Manager作为MRS的统一租户管理平台,用户可以在界面上根据业务需要,在集群中创建租户、管理租户。
- 创建租户时将自动创建租户对应的角色、计算资源和存储资源。默认情况下,新的计算资源和存储资源的全部权限将分配给租户的角色。
- 修改租户的计算资源或存储资源,对应的角色关联权限将自动更新。
Manager还提供了多实例的功能,使用户在资源控制和业务隔离的场景中可以独立使用HBase、Hive和Spark组件。多实例功能默认关闭,可以选择手动启用。
Manager引入了多租户的概念,集群拥有的CPU、内存和磁盘等资源,可以整合规划为一个集合体,这个集合体就是租户。多个不同的租户统称多租户。
多租户功能支持层级式的租户模型,支持动态的添加和删除租户,实现资源的隔离,可以对租户的计算资源和存储资源进行动态配置和管理。
- 计算资源指租户Yarn任务队列资源,可以修改任务队列的配额,并查看任务队列的使用状态和使用统计。
- 存储资源目前支持HDFS存储,可以添加删除租户HDFS存储目录,设置目录的文件数量配额和存储空间配额。
Manager作为MRS的统一租户管理平台,用户可以在界面上根据业务需要,在集群中创建租户、管理租户。
- 创建租户时将自动创建租户对应的角色、计算资源和存储资源。默认情况下,新的计算资源和存储资源的全部权限将分配给租户的角色。
- 修改租户的计算资源或存储资源,对应的角色关联权限将自动更新。
Manager还提供了多实例的功能,使用户在资源控制和业务隔离的场景中可以独立使用HBase、Hive和Spark组件。多实例功能默认关闭,可以选择手动启用。
-
Manager增加了对多语言的支持,系统自动根据浏览器的语言偏好设置,显示中文或者英文。当浏览器首选语言是中文时,Manager显示中文界面;当浏览器首选语言不是中文时,Manager显示英文界面。用户也可以根据语言偏好,在界面左下角一键切换中英文界面(仅MRS 3.x及后续版本支持一键切换中英文界面)。
Manager增加了对多语言的支持,系统自动根据浏览器的语言偏好设置,显示中文或者英文。当浏览器首选语言是中文时,Manager显示中文界面;当浏览器首选语言不是中文时,Manager显示英文界面。用户也可以根据语言偏好,在界面左下角一键切换中英文界面(仅MRS 3.x及后续版本支持一键切换中英文界面)。