华为云用户手册

特性简介 大数据集群运行过程中经常会进行如下操作： 大数据集群变更，比如扩容、缩容集群。 业务数据量突然变化，集群触发弹性伸缩。 相关业务结束，需要终止大数据集群等。 用户想要及时得知这些操作是否执行成功，以及当集群出现大数据服务不可用，或节点故障时，用户希望不用频繁登录集群查看，就可以及时地收到告警通知。 MRS 联合 消息通知 服务( SMN )，可以将以上信息主动地通知到用户的手机及邮箱，让维护更加省心省力。

特性描述 MRS联合消息通知服务(SMN)，采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式。 首先，作为主题拥有者，可以先创建一个主题，并对主题设置访问控制权限来决定哪些发布者和订阅者可以通过该主题进行交流。MRS将集群消息发送至您有权限发布消息的主题，然后所有订阅了该主题的订阅者（可以是手机短信、邮箱等）都将收到集群变更以及组件告警的消息。 图1 实现过程

MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群还支持Presto、Impala、Kudu、Sqoop等组件，可以根据不同集群版本选择不同的组件，具体各版本集群的组件详情可以参考MRS组件版本一览表和组件操作指南。 LTS版 功能说明 LTS版集群除支持集群基础操作外，还提供版本升级能力。如需使用该功能请联系智能数据专家服务。 组件介绍 除共有组件外，LTS版集群还支持HetuEngine、IoTDB等组件，可以根据不同集群版本选择不同的组件，具体各版本集群的组件详情可以参考MRS组件版本一览表和组件操作指南。

MRS集群版本选择建议 LTS版集群支持版本升级能力，如果您需要使用版本升级能力，您可以选择购买LTS版集群。 LTS版集群具备多可用区部署能力，可以实现集群可用区级别的容灾。如果您需要MRS集群具备更高的安全性能和容灾能力，您可以选择购买LTS版集群。 LTS版集群支持HetuEngine、IoTDB等组件，如果您需要使用相关组件，您可以选择购买LTS版集群。 由于已购买的LTS版集群无法切换为普通版，请根据需要选择购买。

Hudi支持三种视图，针对不同场景提供相应的读能力 Snapshot View 实时视图：该视图提供当前hudi表最新的快照数据，即一旦有最新的数据写入hudi表，通过该视图就可以查出刚写入的新数据。 cow表和mor均支持这种视图能力。 Incremental View 增量视图：该视图提供增量查询的能力，可以查询指定COMMIT之后的增量数据，可用于快速拉取增量数据。 cow表支持该种视图能力， mor表也可以支持该视图，但是一旦mor表完成compact操作其增量视图能力消失。 Read Optimized View 读优化视图：该视图只会提供最新版本的parquet文件中存储的数据。 该视图在cow表和mor表上表现不同： 对于cow表，该视图能力和实时视图能力是一样的（cow表只用parquet文件存数据）。 对于mor表，仅访问基本文件，提供给定文件片自上次执行compact操作以来的数据， 可简单理解为该视图只会提供mor表parquet文件存储的数据，log文件里面的数据将被忽略。 该视图数据并不一定是最新的，但是mor表一旦完成compact操作，增量log数据被合入到了base数据里面，这个时候该视图和实时视图能力一样。

Hudi支持两种表类型 Copy On Write 写时复制表也简称cow表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称mor表，使用列格式parquet和行格式Avro两种方式混合存储数据。其中parquet格式文件用于存储基础数据，Avro格式文件（也可叫做log文件）用于存储增量数据。 优点：由于写入数据先写delta log，且delta log较小，所以写入成本较低。 缺点：需要定期合并整理compact，否则碎片文件较多。读取性能较差，因为需要将delta log和老数据文件合并。

Yarn和ZooKeeper的关系 ZooKeeper与Yarn的关系如图3所示。 图3 ZooKeeper与Yarn的关系 在系统启动时，ResourceManager会尝试把选举信息写入ZooKeeper，第一个成功写入ZooKeeper的ResourceManager被选举为Active ResourceManager，另一个为Standby ResourceManager。Standby ResourceManager定时去ZooKeeper监控Active ResourceManager选举信息。 Active ResourceManager还会在ZooKeeper中创建Statestore目录，存储Application相关信息。当Active ResourceManager产生故障时，Standby ResourceManager会从Statestore目录获取Application相关信息，恢复数据。

Yarn和Spark组件的关系 Spark的计算调度方式，可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源，将任务分布式的运行起来。Spark on Yarn分两种模式：Yarn Cluster和Yarn Client。 Yarn Cluster模式 运行框架如图1所示。 图1 Spark on yarn-cluster运行框架 Spark on yarn-cluster实现流程： 首先由客户端生成Application信息，提交给ResourceManager。 ResourceManager为Spark Application分配第一个Container(ApplicationMaster)，并在该Container上启动Driver。 ApplicationMaster向ResourceManager申请资源以运行Container。 ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上启动Executor，Executor启动后，开始向Driver注册并申请Task。 Driver分配Task给Executor执行。 Executor执行Task并向Driver汇报运行状况。 Yarn Client模式 运行框架如图2所示。 图2 Spark on yarn-client运行框架 Spark on yarn-client实现流程： 在yarn-client模式下，Driver部署在Client端，在Client端启动。yarn-client模式下，不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端向ResourceManager发送Spark应用提交请求，ResourceManager为其返回应答，该应答中包含多种信息（如ApplicationId、可用资源使用上限和下限等）。Client端将启动ApplicationMaster所需的所有信息打包，提交给ResourceManager上。 ResourceManager收到请求后，会为ApplicationMaster寻找合适的节点，并在该节点上启动它。ApplicationMaster是Yarn中的角色，在Spark中进程名字是ExecutorLauncher。 根据每个任务的资源需求，ApplicationMaster可向ResourceManager申请一系列用于运行任务的Container。 当ApplicationMaster（从ResourceManager端）收到新分配的Container列表后，会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上启动Executor，Executor启动后，开始向Driver注册并申请Task。 正在运行的Container不会被挂起释放资源。 Driver分配Task给Executor执行。Executor执行Task并向Driver汇报运行状况。

Yarn和MapReduce的关系 MapReduce是运行在Yarn之上的一个批处理的计算框架。MRv1是Hadoop 1.0中的MapReduce实现，它由编程模型（新旧编程接口）、运行时环境（由JobTracker和TaskTracker组成）和数据处理引擎（MapTask和ReduceTask）三部分组成。该框架在扩展性、容错性（JobTracker单点）和多框架支持（仅支持MapReduce一种计算框架）等方面存在不足。MRv2是Hadoop 2.0中的MapReduce实现，它在源码级重用了MRv1的编程模型和数据处理引擎实现，但运行时环境由Yarn的ResourceManager和ApplicationMaster组成。其中ResourceManager是一个全新的资源管理系统，而ApplicationMaster则负责MapReduce作业的数据切分、任务划分、资源申请和任务调度与容错等工作。

元数据管理 当创建MRS集群选择部署Hive和Ranger组件时，MRS提供多种元数据存储方式，您可以根据自身需要进行选择： 本地元数据：元数据存储于集群内的本地 GaussDB 中，当集群删除时元数据同时被删除，如需保存元数据，需提前前往数据库手动保存元数据。 外置数据连接：MRS集群创建完成后，可选择关联与当前集群同一虚拟私有云和子网的RDS服务中的PostgresDB或MySQL数据库或云数据库GaussDB(for MySQL)、也可以选择与当前集群同一虚拟私有云和子网的LakeFormation实例，元数据将存储于关联的数据库或LakeFormation实例中，不会随当前集群的删除而删除，多个MRS集群可共享同一份元数据。 Hive组件可选元数据存储方式功能在MRS 1.9.x及之后版本支持。 父主题： 产品功能

Spark和YARN的关系 Spark的计算调度方式，可以通过YARN的模式实现。Spark共享YARN集群提供丰富的计算资源，将任务分布式的运行起来。Spark on YARN分两种模式：YARN Cluster和YARN Client。 YARN Cluster模式 运行框架如图 Spark on yarn-cluster运行框架所示。 图3 Spark on yarn-cluster运行框架 Spark on yarn-cluster实现流程： 首先由客户端生成Application信息，提交给ResourceManager。 ResourceManager为Spark Application分配第一个Container(ApplicationMaster)，并在该Container上启动Driver。 ApplicationMaster向ResourceManager申请资源以运行Container。 ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上启动Executor，Executor启动后，开始向Driver注册并申请Task。 Driver分配Task给Executor执行。 Executor执行Task并向Driver汇报运行状况。 YARN Client模式 运行框架如图 Spark on yarn-client运行框架所示。 图4 Spark on yarn-client运行框架 Spark on yarn-client实现流程： 在yarn-client模式下，Driver部署在Client端，在Client端启动。yarn-client模式下，不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端向ResourceManager发送Spark应用提交请求，ResourceManager为其返回应答，该应答中包含多种信息(如ApplicationId、可用资源使用上限和下限等)。Client端将启动ApplicationMaster所需的所有信息打包，提交给ResourceManager上。 ResourceManager收到请求后，会为ApplicationMaster寻找合适的节点，并在该节点上启动它。ApplicationMaster是Yarn中的角色，在Spark中进程名字是ExecutorLauncher。 根据每个任务的资源需求，ApplicationMaster可向ResourceManager申请一系列用于运行任务的Container。 当ApplicationMaster（从ResourceManager端）收到新分配的Container列表后，会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上启动Executor，Executor启动后，开始向Driver注册并申请Task。 正在运行的container不会被挂起释放资源。 Driver分配Task给Executor执行。Executor执行Task并向Driver汇报运行状况。

Spark和HDFS的关系 通常，Spark中计算的数据可以来自多个数据源，如Local File、HDFS等。最常用的是HDFS，用户可以一次读取大规模的数据进行并行计算。在计算完成后，也可以将数据存储到HDFS。 分解来看，Spark分成控制端(Driver)和执行端（Executor）。控制端负责任务调度，执行端负责任务执行。 读取文件的过程如图 读取文件过程所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示： Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量，决定一个并行度，创建多个Task去读取这些文件Block。 在Executor端执行Task并读取具体的Block，作为RDD(弹性分布数据集)的一部分。 写入文件的过程如图 写入文件过程所示。 图2 写入文件过程 HDFS文件写入的详细步骤如下所示： Driver创建要写入文件的目录。 根据RDD分区分块情况，计算出写数据的Task数，并下发这些任务到Executor。 Executor执行这些Task，将具体RDD的数据写入到步骤1创建的目录下。

ClickHouse应用场景 ClickHouse是Click Stream + Data WareHouse的缩写，起初应用于一款Web流量分析工具，基于页面的点击事件流，面向 数据仓库 进行OLAP分析。当前ClickHouse被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域，非常适用于商业智能化应用场景，在全球有大量的应用和实践，具体请参考：https://clickhouse.tech/docs/en/introduction/adopters/。

ClickHouse简介 ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。 ClickHouse核心的功能特性介绍如下： 完备的DBMS功能 ClickHouse拥有完备的DBMS数据库管理系统（Database Management System），基本功能如下所示。 DDL （数据定义语言）：可以动态地创建、修改或删除数据库、表和视图，而无须重启服务。 DML（数据操作语言）：可以动态查询、插入、修改或删除数据。 权限控制：可以按照用户粒度设置数据库或者表的操作权限，保障数据的安全性。 数据备份与恢复：提供了数据备份导出与导入恢复机制，满足生产环境的要求。 分布式管理：提供集群模式，能够自动管理多个数据库节点。 列式存储与数据压缩 ClickHouse是一款使用列式存储的数据库，数据按列进行组织，属于同一列的数据会被保存在一起，列与列之间也会由不同的文件分别保存。 在执行数据查询时，列式存储可以减少数据扫描范围和数据传输时的大小，提高了数据查询的效率。 例如在传统的行式数据库系统中，数据按如下表1顺序存储： 表1 行式数据库 row ID Flag Name Event Time 0 12345678901 0 name1 1 2020/1/11 15:19 1 32345678901 1 name2 1 2020/5/12 18:10 2 42345678901 1 name3 1 2020/6/13 17:38 N … … … … … 行式数据库中处于同一行中的数据总是被物理的存储在一起，而在列式数据库系统中，数据按如下表2顺序存储： 表2 列式数据库 row: 0 1 2 N ID: 12345678901 32345678901 42345678901 … Flag: 0 1 1 … Name: name1 name2 name3 … Event: 1 1 1 … Time: 2020/1/11 15:19 2020/5/12 18:10 2020/6/13 17:38 … 该示例中只展示了数据在列式数据库中数据的排列方式。对于存储而言，列式数据库总是将同一列的数据存储在一起，不同列的数据也总是分开存储，列式数据库更适合于OLAP（Online Analytical Processing）场景。 向量化执行引擎 ClickHouse利用CPU的SIMD指令实现了向量化执行。SIMD的全称是Single Instruction Multiple Data，即用单条指令操作多条数据，通过数据并行以提高性能的一种实现方式 ( 其他的还有指令级并行和线程级并行 )，它的原理是在CPU寄存器层面实现数据的并行操作。 关系模型与SQL查询 ClickHouse完全使用SQL作为查询语言，提供了标准协议的SQL查询接口，使得现有的第三方分析可视化系统可以轻松与它集成对接。 同时ClickHouse使用了关系模型，所以将构建在传统关系型数据库或数据仓库之上的系统迁移到ClickHouse的成本会变得更低。 数据分片与分布式查询 ClickHouse集群由1到多个分片组成，而每个分片则对应了ClickHouse的1个服务节点。分片的数量上限取决于节点数量（1个分片只能对应1个服务节点）。 ClickHouse提供了本地表 （Local Table）与分布式表 （Distributed Table）的概念。一张本地表等同于一份数据的分片。而分布式表本身不存储任何数据，它是本地表的访问代理，其作用类似分库中间件。借助分布式表，能够代理访问多个数据分片，从而实现分布式查询。

运维支撑 MRS集群的资源完全属于用户，通常情况下，当集群出现问题需要运维人员支撑时，运维人员无法直接访问该集群。为了更好的服务客户，MRS提供两种方式来减少定位问题时的信息传递： 日志共享：用户可以在MRS页面发起日志共享，选择日志范围共享给运维人员，以便运维人员在不接触集群的情况下帮助定位问题。 运维授权：MRS服务提供运维授权功能，用户在使用MRS集群过程中，发生问题可以在MRS页面发起运维授权，由运维人员帮助用户快速定位问题，用户可以随时收回该授权。

系统可靠性 管理节点均实现HA Hadoop开源版本的数据、计算节点已经是按照分布式系统进行设计的，单节点故障不影响系统整体运行；而以集中模式运作的管理节点可能出现的单点故障，就成为整个系统可靠性的短板。 MRS对所有业务组件的管理节点都提供了类似的双机的机制，包括Manager、HDFS NameNode、HiveServer、HBase HMaster、YARN ResourceManager、KerberosServer、LdapServer等，全部采用主备或负荷分担配置，有效避免了单点故障场景对系统可靠性的影响。 异常场景下的可靠性保证 通过可靠性分析方法，梳理软件、硬件异常场景下的处理措施，提升系统的可靠性。 保障意外掉电时的数据可靠性，不论是单节点意外掉电，还是整个集群意外断电，恢复供电后系统能够正常恢复业务，除非硬盘介质损坏，否则关键数据不会丢失。 硬盘亚健康检测和故障处理，对业务不造成实际影响。 自动处理文件系统的故障，自动恢复受影响的业务。 自动处理进程和节点的故障，自动恢复受影响的业务。 自动处理网络故障，自动恢复受影响的业务。 数据备份与恢复 为应对数据丢失或损坏对用户业务造成不利影响，在异常情况下快速恢复系统，MRS根据用户业务的需要提供全量备份、增量备份和恢复功能。 自动备份 MRS对集群管理系统Manager上的数据提供自动备份功能，根据制定的备份策略可自动备份集群上的数据，包括LdapServer、DBService的数据。 手动备份 在系统进行扩容、打补丁等重大操作前，需要通过手动备份集群管理系统的数据，以便在系统故障时，恢复集群管理系统功能。 为进一步提供系统的可靠性，在将Manager、HBase上的数据备份到第三方服务器时，也需要通过手动备份。

节点可靠性 操作系统健康状态监控 周期采集操作系统硬件资源使用率数据，包括CPU、内存、硬盘、网络等资源的使用率状态。 进程健康状态监控 MRS提供业务实例的状态以及业务实例进程的健康指标的检查，能够让用户第一时间感知进程健康状态。 硬盘故障的自动处理 MRS对开源版本进行了增强，可以监控各节点上的硬盘以及文件系统状态。如果出现异常，立即将相关分区移出存储池；如果硬盘恢复正常（通常是因为用户更换了新硬盘），也会将新硬盘重新加入业务运作。这样极大简化了维护人员的工作，更换故障硬盘可以在线完成；同时用户可以设置热备盘，从而极大缩减了故障硬盘的修复时间，有利于提高系统的可靠性。 节点磁盘LVM配置 MRS支持将多个磁盘配置成LVM（Logic Volume Management），多个磁盘规划成一个逻辑卷组。配置成LVM可以避免各磁盘间使用不均的问题，保持各个磁盘间均匀使用在HDFS和Kafka等能够利用多磁盘能力的组件上尤其重要。并且LVM可以支持磁盘扩容时不需要重新挂载，避免了业务中断。

特性简介 现代企业的数据集群在向集中化和云化方向发展，企业级大数据集群需要满足： 不同用户在集群上运行不同类型的应用和作业（分析、查询、流处理等），同时存放不同类型和格式的数据。 部分用户（例如银行、政府单位等）对数据安全非常关注，不接受将自己的数据与其他用户放在一起。 这给大数据集群带来了以下挑战： 合理地分配和调度资源，以支持多种应用和作业在集群上平稳运行。 对不同的用户进行严格的访问控制，以保证数据和业务的安全。 多租户将大数据集群的资源隔离成一个个资源集合，彼此互不干扰，用户通过“租用”需要的资源集合，来运行应用和作业，并存放数据。在大数据集群上可以存在多个资源集合来支持多个用户的不同需求。 因此，MRS大数据集群提供了完整的企业级大数据多租户解决方案。多租户是MRS大数据集群中的多个资源集合（每个资源集合是一个租户），具有分配和调度资源（资源包括计算资源和存储资源）的能力。

调度器增强 多租户根据调度器类型分为开源的Capacity调度器和华为自主研发的增强型Superior调度器。 为满足企业需求，克服YARN社区在调度上遇到的挑战与困难，华为自主研发的Superior调度器，不仅集合了当前Capacity调度器与Fair调度器的优点，还做了以下增强： 增强资源共享策略 Superior调度器支持队列层级，在同集群集成开源调度器的特性，并基于可配置策略进一步共享资源。针对实例，MRS集群管理员可通过Superior调度器为队列同时配置绝对值或百分比的资源策略计划。Superior调度器的资源共享策略将YARN的标签调度增强为资源池特性，YARN集群中的节点可根据容量或业务类型不同，进行分组以使队列更有效地利用资源。 基于租户的资源预留策略 部分租户可能在某些时间中运行关键任务，租户所需的资源应保证可用。Superior调度器构建了支持资源预留策略的机制，在这些租户队列运行的任务可立即获取到预留资源，以保证计划的关键任务可正常执行。 租户和资源池的用户公平共享 Superior调度器提供了队列内用户间共享资源的配置能力。每个租户中可能存在不同权重的用户，高权重用户可能需要更多共享资源。 大集群环境下的调度性能优势 Superior调度器接收到各个NodeManager上报的心跳信息，并将资源信息保存在内存中，使得调度器能够全局掌控集群的资源使用情况。Superior调度器采用了push调度模型，令调度更加精确、高效，大大提高了大集群下的资源使用率。另外，Superior调度器在NodeManager心跳间隔较大的情况下，调度性能依然优异，不牺牲调度性能，也能避免大集群环境下的“心跳风暴”。 优先策略 当某个服务在获取所有可用资源后还无法满足最小资源的要求，则会发生优先抢占。抢占功能默认关闭。

MRS安全增强 MRS作为一个海量数据管理和分析的平台，具备高安全性。MRS主要从以下几个方面保障用户的数据和业务运行安全。 网络隔离 整个系统部署在公有云上的虚拟私有云中，提供隔离的网络环境，保证集群的业务、管理的安全性。结合虚拟私有云的子网划分、路由控制、安全组等功能，为用户提供高安全、高可靠的网络隔离环境。 资源隔离 MRS服务支持资源专属区内部署，专属区内物理资源隔离，用户可以在专属区内灵活地组合计算存储资源，包括专属计算资源+共享存储资源、共享计算资源+专属存储资源、专属计算资源+专属存储资源。 主机安全 MRS支持与公有 云安全 服务集成，支持 漏洞扫描 、安全防护、应用防火墙、 堡垒机 、网页防篡改等。针对操作系统和端口部分，华为云提供如下安全措施： 操作系统内核安全加固 操作系统权限控制 操作系统端口管理 应用安全 通过如下措施保证大数据业务正常运行： 身份鉴别和认证 Web应用安全 访问控制 审计安全 密码安全 数据安全 针对海量用户数据，提供如下措施保障客户数据的机密性、完整性和可用性。 容灾：MRS支持将数据备份到OBS（ 对象存储服务 ）中，支持跨区域的高可靠性。 备份：MRS支持针对DBService、NameNode、LDAP的元数据备份和对HDFS、HBase的业务数据备份。 数据完整性 通过数据校验，保证数据在存储、传输过程中的数据完整性。 用户数据保存在HDFS上，HDFS默认采用CRC32C校验数据的正确性。 HDFS的DataNode节点负责存储校验数据，如果发现客户端传递过来的数据有异常（不完整）就上报异常给客户端，让客户端重新写入数据。 客户端从DataNode读数据的时候会同步检查数据是否完整，如果发现数据不完整，尝试从其它的DataNode节点上读取数据。 数据保密性 MRS分布式文件系统在Apache Hadoop版本基础上，提供对文件内容的加密存储功能，避免敏感数据明文存储，提升数据安全性。业务应用只需对指定的敏感数据进行加密，加解密过程业务完全不感知。在文件系统 数据加密 基础上，Hive实现表级加密，HBase实现列族级加密，在创建表时指定采用的加密算法，即可实现对敏感数据的加密存储。 从数据的存储加密、访问控制来保障用户数据的保密性。 HBase支持将业务数据存储到HDFS前进行压缩处理，且用户可以配置AES和 SMS 4算法加密存储。 各组件支持本地数据目录访问权限设置，无权限用户禁止访问数据。 所有集群内部用户信息提供密文存储。 安全认证 基于用户和角色的认证统一体系，遵从账户/角色RBAC（Role-Based Access Control）模型，实现通过角色进行权限管理，对用户进行批量授权管理。 支持安全协议Kerberos，MRS使用LDAP作为账户管理系统，并通过Kerberos对账户信息进行安全认证。 提供单点登录，统一了MRS系统用户和组件用户的管理及认证。 对登录Manager的用户进行审计。 父主题： 产品功能

产品优势 MRS服务拥有强大的Hadoop内核团队，基于华为 FusionInsight 大数据企业级平台构筑。历经行业数万节点部署量的考验，提供多级用户SLA保障。 MRS具有如下优势： 高性能 MRS支持自研的CarbonData存储技术。CarbonData是一种高性能大数据存储方案，以一份数据同时支持多种应用场景，并通过多级索引、字典编码、预聚合、动态Partition、准实时数据查询等特性提升了IO扫描和计算性能，实现万亿数据分析秒级响应。同时MRS支持自研增强型调度器Superior，突破单集群规模瓶颈，单集群调度能力超10000节点。 低成本 基于多样化的云基础设施，提供了丰富的计算、存储设施的选择，同时计算存储分离，提供了低成本海量数据存储方案。MRS可以按业务峰谷，自动弹性伸缩，帮助客户节省大数据平台闲时资源。MRS集群可以用时再创建、用时再扩容，用完就可以删除、缩容，确保低成本。 高安全 MRS服务拥有企业级的大数据多租户权限管理能力，拥有企业级的大数据安全管理特性，支持按照表/按列控制访问权限，支持数据按照表/按列加密。 易运维 MRS提供可视化大数据集群管理平台，提高运维效率。并支持滚动补丁升级，可视化补丁发布信息，一键式补丁安装，无需人工干预，不停业务，保障用户集群长期稳定。 高可靠 MRS服务经过大规模的可靠性、长稳验证，满足企业级高可靠要求，同时支持数据跨AZ/跨Region自动备份的数据容灾能力，自动反亲和技术，虚拟机分布在不同物理机上。

产品架构 MRS集群各版本组件情况请参见MRS组件版本一览表。 MRS逻辑架构如图1所示。 图1 MRS架构 MRS架构包括了基础设施和大数据处理流程各个阶段的能力。 基础设施 MRS基于华为云弹性 云服务器ECS 构建的大数据集群，充分利用了其虚拟化层的高可靠、高安全的能力。 虚拟私有云（VPC）为每个租户提供的虚拟内部网络，默认与其他网络隔离。 云硬盘（EVS）提供高可靠、高性能的存储。 弹性云服务器（E CS ）提供的弹性可扩展虚拟机，结合VPC、安全组、EVS数据多副本等能力打造一个高效、可靠、安全的计算环境。 数据采集 数据采集层提供了数据接入到MRS集群的能力，包括Flume（数据采集）、Loader（关系型数据导入）、Kafka（高可靠消息队列），支持各种数据源导入数据到大数据集群中。使用 云数据迁移 云服务也可以将外部数据导入至MRS集群中。 数据存储 MRS支持结构化和非结构化数据在集群中的存储，并且支持多种高效的格式来满足不同计算引擎的要求。 HDFS是大数据上通用的分布式文件系统。 OBS是对象存储服务，具有高可用低成本的特点。 数据融合处理 MRS提供多种主流计算引擎：MapReduce（批处理）、Tez（DAG模型）、Spark（内存计算）、SparkStreaming（微批流计算）、Storm（流计算）、Flink（流计算），满足多种大数据应用场景，将数据进行结构和逻辑的转换，转化成满足业务目标的数据模型。 基于预设的数据模型，使用易用的SQL数据分析，用户可以选择Hive（数据仓库），SparkSQL以及Presto交互式查询引擎。 数据呈现调度 用于数据分析结果的呈现，并与 数据治理中心 DataArts Studio集成，提供一站式的大数据协同开发平台，帮助用户轻松完成数据建模、数据集成、脚本开发、作业调度、运维监控等多项任务，可以极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。 集群管理 以Hadoop为基础的大数据生态的各种组件均是以分布式的方式进行部署，其部署、管理和运维复杂度较高。 MRS集群管理提供了统一的运维管理平台，包括一键式部署集群能力，并提供多版本选择，支持运行过程中集群在无业务中断条件下，进行扩缩容、弹性伸缩。同时MRS集群管理还提供了作业管理、资源标签管理，以及对上述数据处理各层组件的运维，并提供监控、告警、参数配置、补丁升级等一站式运维能力。

首次使用MRS 如果您是首次使用MRS的用户，建议您学习并了解如下信息： 基础知识了解 通过MRS组件介绍和产品功能章节的内容，了解MRS相关的基础知识，包含MRS各组件的基本原理和增强特性介绍，以及MRS服务的特有概念和功能的详细介绍。 入门使用 您可以参考《快速入门》学习并上手使用MRS。《快速入门》提供了样例的详细操作指导，您可以基于此操作指导，创建和使用MRS集群。 使用更多的功能，并查看其相关操作指导 如果您是一个MRS集群使用和运维人员，可以参考用户指南完成集群的生命周期管理、扩缩容以及作业管理等操作。集群中组件的使用指导可以详细参考组件操作指南。 如果您是一个开发者，可以参考MRS提供的开发指南操作指导及样例工程开发并运行调测自己的应用程序。您也可以通过API调用完成MRS集群管理、作业执行等相关操作，您可以参考《API参考》获取详情。

节点标签管理 标签是集群/节点的标识，为集群/节点添加标签，可以方便用户识别和管理拥有的集群/节点资源。MRS服务通过与标签管理服务（TMS）关联，可以让拥有大量云资源的用户，通过给云资源打标签，快速查找具有同一标签属性的云资源，进行统一检视、修改、删除等管理操作，方便用户对大数据集群及其他相关云资源的统一管理。 您可以在创建集群时添加标签，也可以在集群创建完成后，在集群的详情页添加标签，您最多可以给集群添加10个标签。 节点的标签仅支持在节点创建完成后，在节点的标签页添加标签，您最多可以给节点添加10个标签。 父主题： 集群管理

MRS集群版本选择建议 LTS版集群支持版本升级能力，如果您需要使用版本升级能力，您可以选择购买LTS版集群。 LTS版集群具备多可用区部署能力，可以实现集群可用区级别的容灾。如果您需要MRS集群具备更高的安全性能和容灾能力，您可以选择购买LTS版集群。 LTS版集群支持HetuEngine、IoTDB等组件，如果您需要使用相关组件，您可以选择购买LTS版集群。 由于已购买的LTS版集群无法切换为普通版，请根据需要选择购买。

MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群还支持Presto、Impala、Kudu、Sqoop等组件，可以根据不同集群版本选择不同的组件，具体各版本集群的组件详情可以参考MRS组件版本一览表和组件操作指南。 LTS版 功能说明 LTS版集群除支持集群基础操作外，还提供版本升级能力。如需使用该功能请联系智能数据专家服务。 组件介绍 除共有组件外，LTS版集群还支持HetuEngine、IoTDB等组件，可以根据不同集群版本选择不同的组件，具体各版本集群的组件详情可以参考MRS组件版本一览表和组件操作指南。

缩容集群 用户可以根据业务需求量，通过简单的缩减Core节点或者Task节点，对集群进行缩容，以使MRS拥有更优的存储、计算能力，降低运维成本。用户执行MRS集群缩容后，MRS服务将根据节点已安装的服务类型自动选择可以缩容的节点。 Core节点在缩容的时候，会对原节点上的数据进行迁移。业务上如果对数据位置做了缓存，客户端自动刷新位置信息可能会影响时延。缩容节点可能会影响部分HBase on HDFS数据的第一次访问响应时长，可以重启HBase或者对相关的表执行Disable/Enable操作来避免。 Task节点本身不存储集群数据，属于计算节点，不存在节点数据迁移的问题。

在云耀云服务器 L实例 控制台续费 登录L实例控制台。 L实例控制台提供多处续费位置，您可以通过以下任意位置续费。 方式二：在资源卡片上，单击“续费”。 方式二：单击资源卡片，在资源管理页面右上角，单击“续费”。 设置续费配置项，查看配置费用以及续费后的到期时间，单击“去支付”。 续费时长：选择续费时长。 统一到期日：勾选后，设置统一到期日。统一到期日指将包年/包月实例的到期日统一固定为一个月的某一天。 单击“确认”，根据页面提示完成支付。 支付完成后即完成续费。

在费用中心续费 登录费用中心控制台。 自定义查询条件。 可通过“到期时间”、“状态”筛选续费资源。 可在“手动续费项”、“自动续费项”、“到期转按需项”、“到期不续费项”页签查询相应的待续费资源，对资源进行手动续费的操作。 所有需手动续费的资源都可归置到“手动续费项”页签，具体操作请参见如何恢复为手动续费。 图1 续费管理 手动续费资源。 单个续费：在资源页面找到需要续费的资源，单击操作列的“续费”。 图2 单个续费 批量续费：在资源页面勾选需要续费的资源，单击列表左上角的“批量续费”。 选择云服务器的续费时长，判断是否勾选“统一到期日”，将云服务器到期时间统一到各个月的某一天（详细介绍请参见统一包年/包月资源的到期日）。确认配置费用后单击“去支付”。 图3 续费确认 进入支付页面，选择支付方式，确认付款，支付订单后即可完成续费。

HECS实例关机后还计费吗？ 对于包年/包月的L实例、X实例和旧版HECS，由于包年/包月为预付费模式，关机对包年/包月的L实例、X实例和旧版HECS计费无影响。 对于按需计费的X实例，关机后不同资源的计费策略内容如表1所示。 表1 按需计费X实例关机计费策略 资源计费项 关机是否计费 关机后资源处理 云服务器（计算资源，包括vCPU和内存） 不计费 基础资源（vCPU、内存）不再保留。 当再次启动云服务器时，可能由于资源不足无法正常开机，请耐心等待，稍后再试。 镜像 不计费 资源保留，不计费，不进行处理。 云硬盘（系统盘和数据盘） 计费 不受关机影响，仍然按资源计费原则正常计费。 带宽 计费 父主题： 计费FAQ