管理MRS集群-华为云

MapReduce服务 MRS-MRS多租户简介:多租户资源概述

多租户资源概述 MRS 集群的资源分为计算资源和存储资源。多租户可实现资源的隔离。计算资源计算资源包括CPU和内存。租户之间不可以相互占用计算资源，私有计算资源独立。计算资源可分为静态服务资源和动态资源：大数据集群为Yarn分配的资源是静态服务资源，可以由Yarn动态分配给任务队列计算使用。静态服务资源静态服务资源是集群分配给各个服务的计算资源，每个服务的计算资源总量固定，不与其他服务共享，是静态的。这些服务包括Flume、HBase、HDFS和Yarn。动态资源 Yarn是大数据集群中的分布式资源管理服务，大数据集群为Yarn分配资源，资源总量可配置。Yarn内部为任务队列进一步分配和调度计算资源。对于MapReduce、Spark、Flink和Hive的任务队列，计算资源完全由Yarn来分配和调度。 Yarn任务队列是计算资源分配的基本单位。对于租户，通过Yarn任务队列申请到的资源是动态资源。用户可以动态创建并修改任务队列的配额，可以查看任务队列的使用状态和使用统计。资源池：现代企业IT经常会面对纷繁复杂的集群环境和上层需求。例如以下业务场景：集群异构，集群中各个节点的计算速度、存储容量和网络性能存在差异，需要把复杂应用的所有任务按照需求，合理地分配到各个计算节点上。计算分离，多个部门需要数据共享，但是需要把计算完全分离在不同的计算节点上。这就要求对计算资源的节点进一步分区。资源池用来指定动态资源的配置。Yarn任务队列和资源池关联，可实现资源的分配和调度。一个租户只能设置一个默认资源池。用户通过绑定租户相关的角色，来使用该租户资源池的资源。若需要使用多个资源池的资源，可通过绑定多个租户相关的角色实现。动态资源调度机制： Yarn动态资源支持标签调度（Label Based Scheduling）策略，此策略通过为计算节点（Yarn NodeManager）创建标签（Label），将具有相同标签的计算节点添加到同一个资源池中，Yarn根据任务队列对资源的需求，将任务队列和有相应标签的资源池动态关联。例如，集群中有40个以上的节点，根据各节点的硬件和网络配置，分别用Normal、HighCPU、HighMEM、HighIO为四类节点创建标签，添加到四个资源池中，资源池中的各节点性能如表3所示。表3 不同资源池中的各节点性能标签名节点数硬件和网络配置添加到关联 Normal 10 一般资源池A 普通的任务队列 HighCPU 10 高性能CPU 资源池B 计算密集型的任务队列 HighMEM 10 大量内存资源池C 内存密集型的任务队列 HighIO 10 高性能网络资源池D IO密集型的任务队列任务队列只能使用所关联的资源池里的计算节点。普通的任务队列关联资源池A，使用硬件和网络配置一般的Normal节点。计算密集型的任务队列关联资源池B，使用具有高性能CPU的HighCPU节点。内存密集型的任务队列关联资源池C，使用具有大量内存的HighMEM节点。 IO密集型的任务队列关联资源池D，使用具有高性能网络的HighIO节点。 Yarn任务队列与特定的资源池关联，可以更有效地使用资源，保证节点性能充足且互不影响。 FusionInsight Manager中最多支持添加50个资源池。系统默认包含一个默认资源池。存储资源存储资源包括磁盘或第三方存储系统。租户之间不可以相互访问数据，私有存储资源独立。 HDFS是大数据集群中的分布式文件存储服务，存放大数据集群上层应用的所有用户数据，例如写入HBase表或Hive表的数据。目录是HDFS存储资源分配的基本单位。HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，在目录中创建、删除、移动或重命名文件。租户通过指定HDFS文件系统的目录来获取存储资源。存储资源调度机制如下：系统支持将HDFS目录存储到指定标签的节点上，或存储到指定硬件类型的磁盘上。例如以下业务场景：实时查询与数据分析共集群时，实时查询只需部署在部分节点上，其数据也应尽可能的只存储在这些节点上。关键数据根据实际业务需要保存在具有高度可靠性的节点中。管理员可以根据实际业务需要，通过数据特征灵活配置HDFS数据存储策略，将数据保存在指定的节点上。对于租户，存储资源是各租户所占用的HDFS资源。可以通过将指定目录的数据存储到租户配置的存储路径中，实现存储资源调度，保证租户间的数据隔离。用户可以添加/删除租户HDFS存储目录，设置目录的文件数量配额和存储空间配额来管理存储资源。

MapReduce服务 MRS 管理MRS集群租户

MapReduce服务 MRS-MRS多租户简介:调度器介绍

调度器介绍多租户根据调度器类型分为开源的Capacity调度器和增强型Superior调度器，MRS集群默认即启用了Superior调度器。 Capacity调度器为开源的容量调节器。 Superior调度器为增强型，Superior取名源自苏必利尔湖，意指由该调度器管理的数据足够大。调度器类型可通过Yarn服务的“yarn.resourcemanager.scheduler.class”参数值查询。调度器类型切换参考切换MRS租户资源调度器。为满足企业需求，克服Yarn社区在调度上遇到的挑战与困难，Superior调度器不仅集合了当前Capacity调度器与Fair调度器的优点，还做了以下增强：增强资源共享策略 Superior调度器支持队列层级，在同集群集成开源调度器的特性，并基于可配置策略进一步共享资源。针对实例，管理员可通过Superior调度器为队列同时配置绝对值或百分比的资源策略计划。Superior调度器的资源共享策略将Yarn的标签调度增强为资源池特性，Yarn集群中的节点可根据容量或业务类型不同，进行分组以使队列更有效地利用资源。基于租户的资源预留策略部分租户可能在某些时间中运行关键任务，租户所需的资源应保证可用。Superior调度器构建了支持资源预留策略的机制，在这些租户队列运行的任务可立即获取到预留资源，以保证计划的关键任务可正常执行。租户和资源池的用户公平共享 Superior调度器提供了队列内用户间共享资源的配置能力。每个租户中可能存在不同权重的用户，高权重用户可能需要更多共享资源。大集群环境下的调度性能优势 Superior调度器接收到各个NodeManager上报的心跳信息，并将资源信息保存在内存中，使得调度器能够全局掌控集群的资源使用情况。Superior调度器采用了push调度模型，令调度更加精确、高效，大大提高了大集群下的资源使用率。另外，Superior调度器在NodeManager心跳间隔较大的情况下，调度性能依然优异，不牺牲调度性能，也能避免大集群环境下的“心跳风暴”。优先策略当某个服务在获取所有可用资源后还无法满足最小资源的要求，则会发生优先抢占。抢占功能默认关闭。

MapReduce服务 MRS 管理MRS集群租户

MapReduce服务 MRS-MRS多租户简介:多租户概述

多租户概述背景介绍：现代企业的数据集群在向集中化和云化方向发展，企业级大数据集群需要满足：不同用户在集群上运行不同类型的应用和作业（分析、查询、流处理等），同时存放不同类型和格式的数据。某些类型的用户（例如银行、政府单位等）对数据安全非常关注，很难容忍将自己的数据与其他用户的放在一起。这给大数据集群带来了以下挑战：合理地分配和调度资源，以支持多种应用和作业在集群上平稳运行。对不同的用户进行严格的访问控制，以保证数据和业务的安全。多租户将大数据集群的资源隔离成一个个资源集合，彼此互不干扰，用户通过“租用”需要的资源集合，来运行应用和作业，并存放数据。在大数据集群上可以存在多个资源集合来支持多个用户的不同需求。对此，MRS企业级大数据集群提供了完整的企业级大数据多租户解决方案。 MRS多租户介绍： MRS集群拥有的不同资源和服务支持多个组织、部门或应用共享使用。集群提供了一个逻辑实体来统一使用不同资源和服务，这个逻辑实体就是租户。当前仅分析集群支持租户。多个不同的租户统称多租户。多租户是MRS集群中的多个资源集合（每个资源集合是一个租户），具有分配和调度资源的能力。资源包括计算资源和存储资源。MRS集群提供多租户的功能，支持层级式的租户模型，支持动态添加和删除租户，实现资源的隔离，可以对租户的计算资源和存储资源进行动态配置和管理。计算资源指租户Yarn任务队列资源，可以修改任务队列的配额，并查看任务队列的使用状态和使用统计。存储资源目前支持HDFS存储，可以添加删除租户HDFS存储目录，设置目录的文件数量配额和存储空间配额。租户可以在界面上根据业务需要，在集群中创建租户、管理租户。创建租户时将自动创建租户对应的角色、计算资源和存储资源。默认情况下，新的计算资源和存储资源的全部权限将分配给租户的角色。默认情况下，查看当前租户的资源，在当前租户中添加子租户并管理子租户资源的权限将分配给租户的角色。修改租户的计算资源或存储资源，对应的角色关联权限将自动更新。 MRS中最多支持512个租户。系统默认创建的租户包含“default”。和默认租户同处于最上层的租户，可以统称为一级租户。资源池介绍： Yarn任务队列支持一种调度策略，称为标签调度（Label Based Scheduling）。通过此策略，Yarn任务队列可以关联带有特定节点标签（Node Label）的NodeManager，使Yarn任务在指定的节点运行，实现任务的调度与使用特定硬件资源的需求。例如，需要使用大量内存的Yarn任务，可以通过标签关联具有大量内存的节点上运行，避免性能不足影响业务。在MRS集群中，租户从逻辑上对Yarn集群的节点进行分区，使多个NodeManager形成一个资源池。Yarn任务队列通过配置队列容量策略，与指定的资源池进行关联，可以更有效地使用资源池中的资源，且互不影响。 MRS中最多支持50个资源池。系统默认包含一个“default”资源池。多租户优势介绍：合理配置和隔离资源租户之间的资源是隔离的，一个租户对资源的使用不影响其他租户，保证了每个租户根据业务需求去配置相关的资源，可提高资源利用效率。测量和统计资源消费系统资源以租户为单位进行计划和分配，租户是系统资源的申请者和消费者，其资源消费能够被测量和统计。保证数据安全和访问安全多租户场景下，分开存放不同租户的数据，以保证数据安全；控制用户对租户资源的访问权限，以保证访问安全。

MapReduce服务 MRS 管理MRS集群租户

MapReduce服务 MRS-MRS多租户简介:多租户相关模型

多租户相关模型多租户相关模型：多租户相关模型如下图所示。图1 多租户相关模型图1中涉及的概念如表1所示。表1 相关概念说明概念说明用户用户是拥有用户名，密码等账号信息的自然人，是大数据集群的使用者。图中有三个不同的用户：用户A、用户B和用户C。角色角色是承载一个或多个权限的载体。权限是限定在具体对象上的，例如对HDFS中的“/tenant”目录的访问权限，这里权限就限定在“/tenant”目录这个具体对象上。图中有四个不同的角色：角色“t1”、角色“t2”、角色“t3”和角色“Manager_tenant”。角色“t1”、角色“t2”和角色“t3”为创建租户时，集群自动生成的角色，角色名和租户名相同，分别对应租户“t1”、租户“t2”和租户“t3”，不能单独使用。角色“Manager_tenant”为集群中本身存在的角色，不能单独使用。租户租户是从大数据集群中划分出的资源集合。多个不同的租户统称为多租户，租户内部进一步划分出的资源集合是子租户。图中有三个不同的租户：租户“t1”、租户“t2”和租户“t3”。资源计算资源包括CPU和内存。租户的计算资源是从集群总计算资源中划分出的，租户之间不可以互占计算资源。图中：计算资源1、计算资源2和计算资源3分别是租户“t1”、租户“t2”和租户“t3”从集群中划分出的计算资源。存储资源包括磁盘或第三方存储系统。租户的存储资源是从集群总存储资源中划分出的，租户之间不可以互占存储资源。图中：存储资源1、存储资源2和存储资源3分别是租户“t1”、租户“t2”和租户“t3”从集群中划分出的存储资源。若用户想要使用租户资源或为租户添加/删除子租户，则需要同时绑定该租户对应的角色和角色“Manager_tenant”。在图1中，各用户绑定的角色如表2所示。表2 各用户绑定的角色用户绑定的角色权限用户A 角色“t1” 角色“t2” 角色“Manager_tenant” 使用租户“t1”和租户“t2”的资源。为租户“t1”和租户“t2”添加/删除子租户。用户B 角色“t3” 角色“Manager_tenant” 使用租户“t3”的资源。为租户“t3”添加/删除子租户。用户C 角色“t1” 角色“Manager_tenant” 使用租户“t1”的资源。为租户“t1”添加/删除子租户。用户和角色是多对多的关系，一个用户可以绑定多个角色，一个角色可以被多个用户绑定。用户通过绑定角色和租户建立关系，因此用户和租户也是多对多的关系。一个用户可以使用多个租户的资源，多个用户也可以使用同一个租户的资源，例如图1中，用户A使用租户“t1”和租户“t2”的资源，用户A和用户C都使用租户“t1”的资源。 “父租户”、“子租户”、“一级租户”、“二级租户”的概念是针对客户的多租户业务场景设定的，注意与FusionInsight Manager上的“叶子租户资源”和“非叶子租户资源”的概念区别。一级租户：按照租户所在层级确定名称，如最初创建的租户为一级租户，一级租户的子租户为二级租户。父租户与子租户：用来表述租户间上下层级关系的称呼。非叶子租户资源：创建租户时，选择的租户类型，该类型可以创建子租户。叶子租户资源：创建租户时，选择的租户类型，该类型不可以创建子租户。多租户平台：租户是MRS大数据平台的核心概念，使传统的以用户为核心的大数据平台向以多租户为核心的大数据平台转变，更好的适应现代企业多租户应用环境，如图2所示。图2 以用户为核心的平台和以多租户为核心的平台对于以用户为核心的大数据平台，用户直接访问并使用全部的资源和服务。用户的应用可能只用到集群的部分资源，资源利用效率低。不同用户的数据可能存放在一起，难以保证数据安全。对于以租户为核心的大数据平台，用户通过访问租户来使用需要的资源和服务。按照应用需求分配和调度出需要的资源，以租户来统一使用，资源利用效率高。用户通过分配不同的角色获得使用不同租户资源的权限，以保障访问安全。不同的租户之间数据隔离，以保证数据安全。

MapReduce服务 MRS 管理MRS集群租户

MapReduce服务 MRS-查看MRS集群静态资源:查看静态资源（2.x及之前版本）

查看静态资源（2.x及之前版本）在MRS Manager，单击“系统设置”，在“资源管理”区域单击“静态服务池”。单击“状态”。查看系统资源调整基数。 “系统资源调整基数”表示集群中每个节点可以被集群服务使用的最大资源。如果节点只有一个服务，则表示此服务独占节点可用资源。如果节点有多个服务，则表示所有服务共同使用节点可用资源。 “CPU(%)”表示节点中服务可使用的最大CPU。 “Memory(%)”表示节点中服务可使用的最大内存。查看集群服务资源使用状态。在图表区域的服务选择框中选择“所有服务”，则“图表”中会显示服务池所有服务的资源使用状态。 “生效的配置组”表示集群服务当前使用的资源控制配置组。默认情况下每天所有时间均使用“default”配置组，表示集群服务可以使用节点全部CPU，以及70%的内存。查看单个服务资源使用状态。在图表区域的服务选择框中选择指定服务，“图表”中会显示服务池此服务的资源使用状态。用户可以选择页面自动刷新间隔的设置。在“时间区间”选择需要查看服务资源的时间段。单击“查看”可以查看相应时间区间的服务资源数据。自定义服务资源报表。单击“定制”，勾选需要显示的服务源指标。单击“确定”保存并显示所选指标。单击“清除”可批量取消全部选中的指标项。导出监控指标报表。单击“导出”，Manager将生成指定时间范围内、已勾选的服务资源指标报表文件，请选择一个位置保存，并妥善保管该文件。如果需要查看指定时间范围的监控指标对应的分布曲线图，请单击“查看”，界面将显示用户自定义时间范围内选定指标的分布曲线图。

MapReduce服务 MRS 管理MRS集群静态服务资源

MapReduce服务 MRS-添加删除MRS集群组件:添加删除MRS集群组件前提条件

添加删除MRS集群组件前提条件需要在 IAM 用户所属的用户组中，设置用户组的权限。由于在集群上添加服务和删除服务属于高危操作，因此需要给该用户组绑定MRS FullAccess、MRS Administrator、Server Administrator 、Tenant Guest和MRS Administrator或Tenant Administrator任意一个策略才可以执行。具体权限说明请参见IAM用户同步MRS集群说明。如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。

MapReduce服务 MRS 管理MRS集群组件

MapReduce服务 MRS-配置MRS集群用户私有属性:配置用户私有属性

配置用户私有属性以业务用户登录FusionInsight Manager。设置Independent属性后，管理员不能初始化私有用户（业务用户设置了Independent属性后，即为私有用户）的密码；如果忘记此用户密码，密码将无法找回。 admin用户无法设置Independent属性。移动鼠标到界面右上角的用户名。在弹出的菜单栏中单击“设置Independent”或“取消Independent”。私有属性功能开关已开启，业务用户当前已设置私有属性时，菜单栏显示“取消Independent”。私有属性功能开关已开启，业务用户当前已取消私有属性时，菜单栏显示“设置Independent”。私有属性功能开关已关闭，业务用户当前已设置私有属性时，菜单栏显示“取消Independent”。私有属性功能开关已关闭，业务用户当前已取消私有属性时，菜单栏不显示。根据界面提示，输入密码，单击“确定”完成身份验证。身份验证通过后，在确认对话框中单击“确定”。

MapReduce服务 MRS 管理MRS集群用户

MapReduce服务 MRS-批量升级MRS集群客户端:批量升级MRS集群客户端

批量升级MRS集群客户端以待安装客户端的用户登录客户端下载节点。执行以下命令进行升级。 sh client_batch_upgrade.sh -u -f /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar -g /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_ClientConfig/batch_upgrade/client-info.cfg 由于配置了密码信息，执行完升级后建议尽快删除client-info.cfg文件。升级执行完成后确认结果。确保客户端升级无误后执行sh client_batch_upgrade.sh -c，确认升级结果。如果客户端升级后存在问题，可以执行sh client_batch_upgrade.sh -s，回滚客户端。客户端批量升级工具本身是将原客户端move至备份目录，然后再使用-f参数指定的客户端包再次安装客户端。因此若原客户端中有定制的内容，请在执行-c命令之前，将定制的内容从备份目录手动保存或者移至升级后的客户端目录。客户端备份路径为：{原客户端路径}-backup。参数-u是-c和-s的前提，必须在-u命令执行了升级之后，才能选择是要执行-c进行提交还是-s进行回滚。升级命令（-u）可以多次执行，每次执行只升级前面升级失败的客户端，跳过升级成功的客户端。客户端批量升级工具也支持升级之前的旧客户端。执行非root用户安装的客户端升级时，请确保相应用户在目标节点客户端所在目录及父目录的读写权限，否则会升级失败。 -f参数输入的客户端包必须为全量客户端，不支持单组件或部分组件客户端包作为输入。

MapReduce服务 MRS 管理MRS集群客户端

MapReduce服务 MRS-批量升级MRS集群客户端:批量刷新hosts文件

批量刷新hosts文件执行批量升级前准备操作。检查需要更新“/etc/hosts”文件的节点的配置用户是否为“root”。是，执行3。否，更改配置用户为“root”，再执行3。执行以下命令，批量刷新客户端所在节点的“/etc/hosts”文件。 sh client_batch_upgrade.sh -r -f /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar -g /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_ClientConfig/batch_upgrade/client-info.cfg 执行批量刷新“/etc/hosts”文件时，输入的客户端包可以是完整客户端，也可以是仅包含配置文件的客户端软件包，推荐使用仅包含配置文件的客户端软件包。需要更新“/etc/hosts”文件的主机所配置的用户必须为root用户，否则会刷新失败。

MapReduce服务 MRS 管理MRS集群客户端

MapReduce服务 MRS-MRS集群元数据概述

MRS集群元数据概述 MRS的数据连接用于管理集群中组件使用的外部源连接，如Hive的元数据可以通过数据连接关联使用外部的关系型数据库。本地元数据：元数据存储于集群内自带的本地 GaussDB 中，当集群删除时元数据同时被删除，如需保存元数据，需提前前往数据库手动保存元数据。外置数据连接：可以为MRS集群选择关联与当前MRS集群同一虚拟私有云和子网的外置数据连接。元数据将存储于关联的数据库中，不会随当前MRS集群的删除而删除，多个MRS集群可共享同一份元数据。 MRS集群支持的外置数据连接类型为：安装了Hive组件的集群支持连接“RDS服务PostgreSQL数据库”，且Postgres数据库版本号为PostgreSQL14。安装了Hive或Ranger组件的集群支持连接“RDS服务MySQL数据库”，且MySQL数据库版本为MySQL 5.7.x/MySQL 8.0。仅MRS 3.1.2-LTS.3、MRS 3.1.5和MRS 3.3.0-LTS版本集群支持连接“云数据库GaussDB(for MySQL)”。集群支持对接LakeFormation时，可选择“LakeFormation”数据连接。不同集群间Hive元数据切换时，MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的，所以不同集群间的Hive元数据切换，不能自动把用户/用户组的权限同步到另一个集群的Manager上。父主题：管理MRS集群元数据

MapReduce服务 MRS 管理MRS集群元数据

MapReduce服务 MRS-克隆MRS集群作业

克隆MRS集群作业本章节介绍如何克隆作业列表中的作业。用户每次只能克隆1个作业，单击克隆后的作业信息不再区分显示运行程序参数和执行程序参数，而是合并显示为命令参考。 DistCp、SQL类（SparkSQL、HiveSQL等）作业类型无法克隆。该功能暂时仅在北京四region开放，如需体验，请联系运维人员。登录MRS管理控制台。选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。选择“作业管理”。在需要克隆作业的对应的“操作”列中，单击“克隆”，弹出“克隆作业”对话框。配置克隆参数。若无参数修改，无需执行本步骤。若有参数修改，根据实际情况填写参数，单击“确定”下发克隆作业。命令参考（由添加作业时的“运行程序参数”与“执行程序参数”组成）：在原有的命令后，按“, {新参数}”的格式继续新增参数。增加新的运行程序参数：新的命令参考是“运行程序参数, {新的运行程序参数}, 执行程序参数”。增加新的执行程序参数：新的命令参考是“运行程序参数, 执行程序参数, {新的执行程序参数}”。比如原有的命令参考为： -D, 10, -F, 12, abc ，增加新的运行程序参数时，则新的命令参考为：-D, 10, -F, 12, -G, 18, abc；增加新的执行程序参数时，则新的命令参考为：-D, 10, -F, 12, abc, efg。用户根据实际需求按照该规则（, 新参数）追加新的参数。服务配置参数：在原有的参数后，按“, {key}={value}”的格式添加新的服务配置参数。比如原有参数为appender.out.strategy.max=10，则新的服务参数为：appender.out.strategy.max=10, appender.err.strategy.max=15。用户根据实际需求按照该规则（, {key}={value}）追加新的参数。克隆作业时，逗号+空格的格式只能在两个参数间存在；若存在于参数中，作业可能执行失败。在原有参数后继续添加参数，逗号后需要有空格，否则作业可能执行失败。克隆的作业返回参数不含有fs.obs.access.key、fs.obs.secret.key，若需要fs.obs.access.key、fs.obs.secret.key，需在“服务配置参数”中添加。单击“确定”下发克隆作业。作业克隆成功后，作业状态为“已完成”状态。父主题：管理MRS集群作业

MapReduce服务 MRS 管理MRS集群作业

MapReduce服务 MRS-查看MRS集群节点运行状态:通过Manager页面查看节点状态（MRS 2.x及之前版本）

通过Manager页面查看节点状态（MRS 2.x及之前版本）登录MRS Manager。单击“主机管理”，看所有主机状态。主机操作状态和健康状态分别如下表所示。表5 主机操作状态状态描述正常主机及主机上的服务角色正常运行。已隔离主机被用户隔离，主机上的服务角色停止运行。表6 主机健康状态状态描述良好主机心跳检测正常。故障主机心跳超时未上报。未知执行添加操作时，主机的初始状态。单击列表中指定的主机名称，查看单个主机状态及指标。定制、导出监控图表。在“图表”区域框中，单击“定制”自定义服务监控指标。在“时间区间”选择查询时间，单击“查看”显示该时间段内的监控数据。单击“导出”，导出当前查看的指标数据。

MapReduce服务 MRS 管理MRS集群节点

MapReduce服务 MRS-查看MRS集群节点运行状态:通过管理控制台查看节点状态

通过管理控制台查看节点状态登录MRS管理控制台。选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。在集群详情页，单击“节点管理”。展开节点组名称，可查看节点基本信息、节点状态、CPU使用率、内存使用率、磁盘使用率等信息。在主机列表单击指定的主机名称，可查看更详细的节点信息。表1 MRS集群节点信息参数参数说明节点组名称集群节点组名称。节点类型节点组对应的节点类型，可参考MRS集群节点类型说明。单击节点组名称前方的，显示该节点组包含的节点，单击节点名称，使用创建集群时配置的密码或者密钥对远程登录弹性云服务器。节点参数说明请参见查看MRS集群组件监控指标。节点数对应节点组中包含的节点数量。付费类型显示购买集群时的付费类型，包含“按需计费”和“包年/包月”。

MapReduce服务 MRS 管理MRS集群节点

MapReduce服务 MRS-配置ClickHouse SQL防御规则:配置ClickHouse SQL防御前提条件

配置ClickHouse SQL防御前提条件已安装包含ClickHouse服务的集群客户端，例如安装目录为“/opt/hadoopclient”。 ClickHouse逻辑集群运行状态正常。对于开启了Kerberos认证的集群，需要创建具有ClickHouse表操作权限的业务用户，例如创建人机用户“clickhouseuser”。已创建关联了ClickHouse服务的租户，并与ClickHouse业务用户关联，具体请参见添加MRS租户章节。

MapReduce服务 MRS 管理MRS集群SQL防御规则

MapReduce服务 MRS-查看MRS集群运行状态:查看MRS集群运行状态

查看MRS集群运行状态登录MRS管理控制台。选择“现有集群”，进入集群列表页面。集群列表默认按创建时间顺序排列，集群列表参数说明如表1所示。现有集群：包括除了“失败”和“已删除”状态以外的所有集群。历史集群：仅包含“已删除”的集群，目前界面只显示6个月内创建且已删除的集群，若需要查看6个月以前删除的集群，请联系华为云支持人员。失败任务管理：单击可查看“失败”状态的集群创建任务。表1 集群列表参数参数参数说明名称/ID 集群的名称，创建集群时设置。集群的ID是集群的唯一标识，创建集群时系统自动赋值，不需要用户设置。：修改集群名称。：复制集群ID。集群版本集群的版本号。集群类型显示创建集群的类型。节点数集群部署的节点个数，创建集群时设置。状态集群运行状态及变更状态信息，集群运行状态说明请参考表2。创建集群进度包括： Verifying cluster parameters：校验集群参数中 Applying for cluster resources：申请集群资源中 Creating VMs：创建虚拟机中 Initializing VMs：初始化虚拟机中 Installing MRS Manager：安装MRS Manager中 Deploying the cluster：部署集群中 Cluster installation failed：集群安装失败扩容集群进度包括： Preparing for cluster expansion：准备扩容中 Creating VM：创建虚拟机中 Initializing VM：初始化虚拟机中 Adding node to the cluster：节点加入集群中 Cluster expansion failed：集群扩容失败缩容集群进度包括： Preparing for cluster shrink：正在准备缩容 Decommissioning instance：实例退服中 Deleting VM：删除虚拟机中 Deleting node from the cluster：从集群删除节点中 Cluster shrink failed：集群缩容失败集群安装、扩容、缩容失败，会显示失败的原因，详情请参见表6。计费类型目前MRS商用收费基本要素为集群中的弹性云服务器。包年/包月：根据集群购买时长，一次性支付集群费用。最短时长为1个月，最长时长为1年。按需计费：节点按实际使用时长计费，计费周期为一小时。计费类型下方显示购买的集群启动成功的时间，即计费开始时间。创建时间集群节点创建成功时间。仅“历史集群”会显示此参数。删除时间集群节点计费停止时间，也是集群节点开始删除时间。仅“历史集群”会显示此参数。可用区集群工作区域下的可用区，创建集群时设置。企业项目集群所属的企业项目。表2 MRS集群运行状态说明状态说明启动中集群正在创建，则其状态为“启动中”。运行中集群创建成功且运行正常，则其状态为“运行中”。扩容中集群Master节点、Core节点或者Task节点正在扩容，则其状态为“扩容中”。缩容中当对集群节点进行缩容、弹性缩容、包周期集群退订节点、变更OS和重装OS的操作时，被变更的集群节点正在删除，则其状态为“缩容中”。异常集群中部分组件状态异常，导致集群异常，则其状态为“异常”。删除中在集群现有列表单击“删除”按钮并确认后，按需购买的集群节点正在删除中，则集群状态为“删除中”。冻结包年/包月资源宽限期到期未续费、按需资源扣费失败且在宽限期到期前未充值，系统会冻结这些资源，其状态为“冻结”。本文提及的冻结一般指欠费冻结，其他冻结场景请参见资源冻结的类型有哪些？。说明：冻结期间集群不可用且关闭集群中所有云主机，解冻后集群自动恢复为“运行中”状态。如果用户没有续费，冻结期限到期后集群会被删除，状态更新为“已删除” 故障节点修复中集群中故障的节点正在修复，则其状态为“故障节点修复中”。

MapReduce服务 MRS 管理MRS集群

云服务器内容精选

管理MRS集群

7*24

备案

专业服务

退订

建议反馈

售前咨询热线