MAPREDUCE服务 MRS-MRS集群元数据概述

时间:2024-08-17 08:59:26

MRS 集群元数据概述

MRS的数据连接用于管理集群中组件使用的外部源连接,如Hive的元数据可以通过数据连接关联使用外部的关系型数据库。

  • 本地元数据:元数据存储于集群内的本地 GaussDB 中,当集群删除时元数据同时被删除,如需保存元数据,需提前前往数据库手动保存元数据。
  • 外置数据连接:可以为MRS集群选择关联与当前MRS集群同一虚拟私有云和子网的外置数据连接。元数据将存储于关联的数据库中,不会随当前集群的删除而删除,多个MRS集群可共享同一份元数据。
    MRS集群支持的外置数据连接类型为:
    • 安装了Hive组件的集群支持连接“RDS服务PostgreSQL数据库”,且Postgres数据库版本号为PostgreSQL14
    • 安装了Hive或Ranger组件的集群支持连接“RDS服务MySQL数据库”,且MySQL数据库版本为MySQL 5.7.x/MySQL 8.0
    • 仅MRS 3.1.2-LTS.3、MRS 3.1.5和MRS 3.3.0-LTS版本集群支持连接“云数据库GaussDB(for MySQL)”。
    • 集群支持对接LakeFormation时,可选择“LakeFormation”数据连接。

不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的,所以不同集群间的Hive元数据切换,不能自动把用户/用户组的权限同步到另一个集群的Manager上。

support.huaweicloud.com/usermanual-mrs/mrs_01_0633.html