华为云首页用户手册

MAPREDUCE服务 MRS-MRS多租户简介:多租户概述

时间：2024-12-06 09:11:17

MAPREDUCE服务 MRS 管理MRS集群租户

多租户概述

背景介绍：
现代企业的数据集群在向集中化和云化方向发展，企业级大数据集群需要满足：
- 不同用户在集群上运行不同类型的应用和作业（分析、查询、流处理等），同时存放不同类型和格式的数据。
- 某些类型的用户（例如银行、政府单位等）对数据安全非常关注，很难容忍将自己的数据与其他用户的放在一起。
这给大数据集群带来了以下挑战：
- 合理地分配和调度资源，以支持多种应用和作业在集群上平稳运行。
- 对不同的用户进行严格的访问控制，以保证数据和业务的安全。
多租户将大数据集群的资源隔离成一个个资源集合，彼此互不干扰，用户通过“租用”需要的资源集合，来运行应用和作业，并存放数据。在大数据集群上可以存在多个资源集合来支持多个用户的不同需求。

对此， MRS 企业级大数据集群提供了完整的企业级大数据多租户解决方案。
MRS多租户介绍：
MRS集群拥有的不同资源和服务支持多个组织、部门或应用共享使用。集群提供了一个逻辑实体来统一使用不同资源和服务，这个逻辑实体就是租户。当前仅分析集群支持租户。

多个不同的租户统称多租户。多租户是MRS集群中的多个资源集合（每个资源集合是一个租户），具有分配和调度资源的能力。资源包括计算资源和存储资源。MRS集群提供多租户的功能，支持层级式的租户模型，支持动态添加和删除租户，实现资源的隔离，可以对租户的计算资源和存储资源进行动态配置和管理。

计算资源指租户Yarn任务队列资源，可以修改任务队列的配额，并查看任务队列的使用状态和使用统计。

存储资源目前支持HDFS存储，可以添加删除租户HDFS存储目录，设置目录的文件数量配额和存储空间配额。

租户可以在界面上根据业务需要，在集群中创建租户、管理租户。
- 创建租户时将自动创建租户对应的角色、计算资源和存储资源。默认情况下，新的计算资源和存储资源的全部权限将分配给租户的角色。
- 默认情况下，查看当前租户的资源，在当前租户中添加子租户并管理子租户资源的权限将分配给租户的角色。
- 修改租户的计算资源或存储资源，对应的角色关联权限将自动更新。
MRS中最多支持512个租户。系统默认创建的租户包含“default”。和默认租户同处于最上层的租户，可以统称为一级租户。
资源池介绍：
Yarn任务队列支持一种调度策略，称为标签调度（Label Based Scheduling）。通过此策略，Yarn任务队列可以关联带有特定节点标签（Node Label）的NodeManager，使Yarn任务在指定的节点运行，实现任务的调度与使用特定硬件资源的需求。例如，需要使用大量内存的Yarn任务，可以通过标签关联具有大量内存的节点上运行，避免性能不足影响业务。

在MRS集群中，租户从逻辑上对Yarn集群的节点进行分区，使多个NodeManager形成一个资源池。Yarn任务队列通过配置队列容量策略，与指定的资源池进行关联，可以更有效地使用资源池中的资源，且互不影响。

MRS中最多支持50个资源池。系统默认包含一个“default”资源池。

多租户优势介绍：
- 合理配置和隔离资源
   租户之间的资源是隔离的，一个租户对资源的使用不影响其他租户，保证了每个租户根据业务需求去配置相关的资源，可提高资源利用效率。
- 测量和统计资源消费
   系统资源以租户为单位进行计划和分配，租户是系统资源的申请者和消费者，其资源消费能够被测量和统计。
- 保证数据安全和访问安全
   多租户场景下，分开存放不同租户的数据，以保证数据安全；控制用户对租户资源的访问权限，以保证访问安全。