Manager结构介绍

MRS为用户提供海量数据的管理及分析功能,快速从结构化和非结构化的海量数据中挖掘您所需要的价值数据。开源组件结构复杂,安装、配置、管理过程费时费力,使用Manager将为您提供企业级的集群的统一管理平台。

Manager的整体结构如下图所示。

Manager由OMS和OMA组成:

  1. OMS:操作维护系统的管理节点,OMS一般有两个,互为主备。
  2. OMA:操作维护系统中的被管理节点,一般有多个。

图中各模块的说明如下表所示:

模块名称
描述

Web Service

是一个部署在Tomcat下的Web服务,提供Manager的https接口,用于通过浏览器访问Manager。同时还提供基于Syslog和SNMP协议的北向接入能力。

OMS

操作维护系统的管理节点,OMS节点一般有两个,互为主备。

OMA

操作维护系统中的被管理节点,一般有多个。

Controller

Controller是Manager的控制中心,负责汇聚来自集群中所有节点的信息,统一向MRS集群管理员展示,以及负责接收来自MRS集群管理员的操作指令,并且依据操作指令所影响的范围,向集群的所有相关节点同步信息。

Node Agent

Node Agent存在于每一个集群节点,是Manager在单个节点的使能器。

  1. Node Agent代表本节点上部署的所有组件与Controller交互,实现整个集群多点到单点的汇聚。
  2. Node Agent是Controller对部署在该节点上组件做一切操作的使能器,其代表着Controller的功能。

Node Agent每隔3秒向Controller发送心跳信息,不支持配置时间间隔。

IAM

负责记录审计日志。在Manager的UI上每一个非查询类操作,都有对应的审计日志。

PMS

性能监控模块,搜集每一个OMA上的性能监控数据并提供查询。

CEP

汇聚功能模块。比如将所有OMA上的磁盘已用空间汇总成一个性能指标。

FMS

告警模块,搜集每一个OMA上的告警并提供查询。

OMM Agent

OMA上面性能监控和告警的Agent,负责收集该Agent Node上的性能监控数据和告警数据。

CAS

统一认证中心,登录Web Service时需要在CAS进行登录认证,浏览器通过URL自动跳转访问CAS。

AOS

权限管理模块,管理用户和用户组的权限。

ACS

用户和用户组管理模块,管理用户及用户归属的用户组。

Kerberos

在OMS与集群中各部署一个。

OMS Kerberos提供单点登录及Controller与Node Agent间认证的功能。

集群中Kerberos提供组件用户安全认证功能,其服务名称为KrbServer,包含两种角色实例:

  1. KerberosServer:认证服务器,为MRS提供安全认证使用。
  2. KerberosAdmin:管理Kerberos用户的进程。

Ldap

在OMS与集群中各部署一个。

  1. OMS Ldap为用户认证提供数据存储。
  2. 集群中的Ldap作为OMS Ldap的备份,其服务名称为LdapServer,角色实例为SlapdServer。

Database

Manager的数据库,负责存储日志、告警等信息。

HA

高可用性管理模块,主备OMS通过HA进行主备管理。

NTP Server

NTP Client

负责同步集群内各节点的系统时钟。

Manager关键特性

  • 统一监控告警

    Manager提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标,并评测集群健康状态,同时提供性能指标的定制化显示功能及指标转换告警方法。Manager可监控所有组件的运行情况,并在故障时实时上报告警。通过界面的联机帮助,用户可以查看性能指标和告警恢复的详细方法,进行快速排障。

    Manager提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标,并评测集群健康状态,同时提供性能指标的定制化显示功能及指标转换告警方法。Manager可监控所有组件的运行情况,并在故障时实时上报告警。通过界面的联机帮助,用户可以查看性能指标和告警恢复的详细方法,进行快速排障。

  • 统一用户权限管理

    Manager提供系统中各组件的权限集中管理功能。

    Manager引入角色的概念,采用RBAC的方式对系统进行权限管理,集中呈现和管理系统中各组件零散的权限功能,并且将各个组件的权限以权限集合(即角色)的形式组织,形成统一的系统权限概念。这样一方面对普通用户屏蔽了内部的权限管理细节,另一方面对MRS集群管理员简化了权限管理的操作方法,提升了权限管理的易用性和用户体验。

    Manager提供系统中各组件的权限集中管理功能。

    Manager引入角色的概念,采用RBAC的方式对系统进行权限管理,集中呈现和管理系统中各组件零散的权限功能,并且将各个组件的权限以权限集合(即角色)的形式组织,形成统一的系统权限概念。这样一方面对普通用户屏蔽了内部的权限管理细节,另一方面对MRS集群管理员简化了权限管理的操作方法,提升了权限管理的易用性和用户体验。

  • 单点登录

    提供Manager WebUI与组件WebUI之间的单点登录,以及MRS与第三方系统集成时的单点登录。

    此功能统一了Manager系统用户和组件用户的管理及认证。整个系统使用LDAP管理用户,使用Kerberos进行认证,并在OMS和组件间各使用一套Kerberos和LDAP的管理机制,通过CAS实现单点登录(包括单点登录和单点登出)。用户只需要登录一次,即可在Manager WebUI和组件Web UI之间,甚至第三方系统之间进行任务跳转操作,无需切换用户重新登录。

    提供Manager WebUI与组件WebUI之间的单点登录,以及MRS与第三方系统集成时的单点登录。

    此功能统一了Manager系统用户和组件用户的管理及认证。整个系统使用LDAP管理用户,使用Kerberos进行认证,并在OMS和组件间各使用一套Kerberos和LDAP的管理机制,通过CAS实现单点登录(包括单点登录和单点登出)。用户只需要登录一次,即可在Manager WebUI和组件Web UI之间,甚至第三方系统之间进行任务跳转操作,无需切换用户重新登录。

  • 自动健康检查与巡检

    Manager为用户提供界面化的系统运行环境自动检查服务,帮助用户实现一键式系统运行健康度巡检和审计,保障系统的正常运行,降低系统运维成本。用户查看检查结果后,还可导出检查报告用于存档及问题分析。

    Manager为用户提供界面化的系统运行环境自动检查服务,帮助用户实现一键式系统运行健康度巡检和审计,保障系统的正常运行,降低系统运维成本。用户查看检查结果后,还可导出检查报告用于存档及问题分析。

  • 租户管理

    Manager引入了多租户的概念,集群拥有的CPU、内存和磁盘等资源,可以整合规划为一个集合体,这个集合体就是租户。多个不同的租户统称多租户。

    多租户功能支持层级式的租户模型,支持动态的添加和删除租户,实现资源的隔离,可以对租户的计算资源和存储资源进行动态配置和管理。

    1. 计算资源指租户Yarn任务队列资源,可以修改任务队列的配额,并查看任务队列的使用状态和使用统计。
    2. 存储资源目前支持HDFS存储,可以添加删除租户HDFS存储目录,设置目录的文件数量配额和存储空间配额。

    Manager作为MRS的统一租户管理平台,用户可以在界面上根据业务需要,在集群中创建租户、管理租户。

    1. 创建租户时将自动创建租户对应的角色、计算资源和存储资源。默认情况下,新的计算资源和存储资源的全部权限将分配给租户的角色。
    2. 修改租户的计算资源或存储资源,对应的角色关联权限将自动更新。

    Manager还提供了多实例的功能,使用户在资源控制和业务隔离的场景中可以独立使用HBase、Hive和Spark组件。多实例功能默认关闭,可以选择手动启用。

    Manager引入了多租户的概念,集群拥有的CPU、内存和磁盘等资源,可以整合规划为一个集合体,这个集合体就是租户。多个不同的租户统称多租户。

    多租户功能支持层级式的租户模型,支持动态的添加和删除租户,实现资源的隔离,可以对租户的计算资源和存储资源进行动态配置和管理。

    1. 计算资源指租户Yarn任务队列资源,可以修改任务队列的配额,并查看任务队列的使用状态和使用统计。
    2. 存储资源目前支持HDFS存储,可以添加删除租户HDFS存储目录,设置目录的文件数量配额和存储空间配额。

    Manager作为MRS的统一租户管理平台,用户可以在界面上根据业务需要,在集群中创建租户、管理租户。

    1. 创建租户时将自动创建租户对应的角色、计算资源和存储资源。默认情况下,新的计算资源和存储资源的全部权限将分配给租户的角色。
    2. 修改租户的计算资源或存储资源,对应的角色关联权限将自动更新。

    Manager还提供了多实例的功能,使用户在资源控制和业务隔离的场景中可以独立使用HBase、Hive和Spark组件。多实例功能默认关闭,可以选择手动启用。

  • 多语言支持

    Manager增加了对多语言的支持,系统自动根据浏览器的语言偏好设置,显示中文或者英文。当浏览器首选语言是中文时,Manager显示中文界面;当浏览器首选语言不是中文时,Manager显示英文界面。用户也可以根据语言偏好,在界面左下角一键切换中英文界面(仅MRS 3.x及后续版本支持一键切换中英文界面)。

    Manager增加了对多语言的支持,系统自动根据浏览器的语言偏好设置,显示中文或者英文。当浏览器首选语言是中文时,Manager显示中文界面;当浏览器首选语言不是中文时,Manager显示英文界面。用户也可以根据语言偏好,在界面左下角一键切换中英文界面(仅MRS 3.x及后续版本支持一键切换中英文界面)。

如何使用Manager

  • 访问FusionInsight Manager

    用户可以使用FusionInsight Manager对集群进行监控、配置和管理。用户在集群安装后可使用帐号登录FusionInsight Manager。

  • FusionInsight Manager的使用

    FusionInsight Manager提供统一的集群管理平台,帮助您快捷、直观的完成集群的运行维护。

  • 管理MRS集群/服务/实例

    提供各集群内服务监控、服务操作向导以及服务配置,帮助您对服务进行统一管理。

  • MRS集群运维

    提供告警查询、告警处理指导功能。帮助您及时发现产品故障及潜在隐患,并进行定位排除,以保证系统正常运行。

  • 管理MRS集群主机

    提供主机监控、主机操作向导,帮助您对主机进行统一管理。

  • 管理MRS集群审计信息

    提供审计日志查询及导出功能。帮助您查阅所有用户活动及操作。

  • 备份恢复MRS集群信息

    提供对集群内的用户数据及系统数据的备份恢复能力,备份功能按组件提供。系统支持备份Manager的数据、组件元数据及业务数据。

  • MRS集群系统设置

    提供对FusionInsight Manager的系统管理设置,例如用户权限设置。

  • MRS集群安全管理

    提供用户账户管理、证书管理、安全加固等功能,提升操作的易用性和用户体验。