华为云用户手册

MRS 1.9.3.11补丁说明 补丁号 MRS 1.9.3.11 发布时间 2024-02-10 安装前处理 安装此补丁前，如果之前有装过MRS_1x2x_Patch_Diskmgt_20230308.tar.gz补丁，需要先卸载该补丁，卸载完之后请等待10分钟再执行MRS 1.9.3.11补丁的安装操作。 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 新特性和优化 MRS Manager 支持慢盘隔离告警功能 补丁兼容关系 MRS 1.9.3.11补丁包中已包含所有MRS 1.9.3版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。

MRS 1.9.3.10补丁说明 补丁号 MRS 1.9.3.10 发布时间 2023-11-10 安装前处理 安装此补丁前，如果之前有装过MRS_1x2x_Patch_Diskmgt_20230308.tar.gz补丁，需要先卸载该补丁，卸载完之后请等待10分钟再执行MRS 1.9.3.10补丁的安装操作。 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 新特性和优化 MRS Manager 新增磁盘不可用告警 新增设备分区丢失告警自动清除能力 慢盘/卡io算法优化 慢盘自动隔离机制优化 补丁兼容关系 MRS 1.9.3.10补丁包中已包含所有MRS 1.9.3版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。

如何配置网络ACL出规则？ 方案一： 放通网络ACL所有出站流量，此方案能保证集群正常创建与使用，优先建议使用此方案。 图3 放通网络ACL所有出站流量配置示例 方案二： 放通保证集群创建成功的最小出规则，此方案可能在后续使用中因出方向规则遗漏导致集群使用问题，不建议使用方案。若出现集群使用问题请联系运维人员支撑处理。 配置示例：参照方案一中示例，配置策略为“允许”，目的地址为通信安全授权地址、NTP、OBS、Openstack及 DNS地址 的出方向规则。

MRS节点引导操作概述 用户可以通过引导操作来完成安装其他第三方软件，修改集群运行环境等自定义操作。 引导操作可以在集群组件首次启动前/后在指定的节点上执行脚本。已运行的集群组件添加的引导操作，只能通过手动方式在节点上执行第三方组件的安装脚本进行安装。 如果集群扩容，选择执行引导操作，则引导操作也会以相同方式在新增节点上执行。如果集群开启弹性伸缩功能，可以在配置资源计划的同时添加自动化脚本，则自动化脚本会在弹性伸缩的节点上执行，实现用户自定义操作。 MRS 2.x及之前版本：引导操作脚本以root身份执行，使用不当可能会对集群可用性造成影响，请谨慎操作。脚本内部您可以通过su - xxx命令切换用户。 MRS 3.x及之后版本：引导操作脚本以omm身份执行，使用不当可能会对集群可用性造成影响，请谨慎操作。脚本内部您可以通过su - xxx命令切换用户。 MRS通过引导操作脚本返回码来判断结果，如果返回零，则代表脚本执行成功，非零代表执行失败。一个节点上执行某个引导脚本失败，则会导致相应引导脚本失败，您可以通过“失败后操作”来选择是否继续执行后续脚本。 样例1：创建集群指定所有脚本的“失败后操作”均选择“继续”，则不论这些脚本实际执行成功或失败，都会全部执行，并完成启动流程。 样例2：如果一个脚本执行失败，且“失败后操作”选择“终止”，则不会执行后续脚本，集群创建或扩容也随之失败。 您最多可以添加18个引导操作，它们会按照您指定的顺序在集群组件启动前（或后）执行。组件启动前（或后）执行的引导操作，必须在60分钟内完成，否则会引起集群创建或扩容失败。 父主题： 配置MRS集群节点引导操作

Manager主页介绍（MRS 3.x版本） FusionInsight Manager“主页”提供各集群服务状态预览区及监控状态报表，同时展示集群内告警统计及分析情况信息。 主页右侧可查看集群的不同级别告警个数、运行任务个数、当前用户和帮助信息等内容，如图3所示。 图3 集群状态信息 单击可查看“任务管理中心”中近100次操作任务的任务名、状态、进度、开始时间和结束时间。 对于启动、停止、重启以及滚动重启操作，在任务执行过程中，单击任务列表中的对应任务名称，单击“中止”按钮，根据界面提示输入系统管理员密码后，用户可中止该任务。中止后，任务将不再继续执行。 主页底部任务栏显示FusionInsight Manager的语言选项和当前集群时间及时区信息，可切换系统语言。 图4 主页底部任务栏 服务状态预览区： 主页界面的左侧展示集群已安装服务组件列表信息，可查看当前集群已安装各服务的状态和告警情况。 每个服务名称左侧的表示当前该服务运行状态良好，表示当前服务启动失败，表示当前服务未启动。 同时服务名称右侧可查看当前该服务是否产生了告警，如果存在告警，则以图标区分告警的级别并显示告警数。 如果服务右侧显示则表示该服务配置已过期。 监控状态报表： 主页界面的右侧为图表区，包含关键监控状态的报表，例如集群中所有主机的状态、主机CPU使用率、主机内存使用率等。用户可以自定义在图表区展示的监控报表，请参考查看MRS集群资源监控指标。 监控图表的数据来源可在图表的左下方查看，每个监控报表可以放大查看具体数值，也可以关闭不再显示。 图5 监控状态的报表 告警分析： MRS 3.3.0及之后版本的Manager主页界面中，告警信息展示页面与历史版本有所不同，具体请以实际页面呈现为准。 “告警分析”页面展示“Top20告警统计”表和“Top3告警分析”图。单击“Top20告警统计”中的告警名称，可以在告警分析中只展示该告警信息。该功能支持告警统计，可以展示TOP告警以及发生的时间规律，可以有针对性地解决告警，提升系统稳定性。 图6 告警分析

查询Manager版本号 通过查看Manager版本号，可以进行下一步的系统升级及日常维护操作。该操作以MRS 3.x及之后版本集群为例进行说明。 界面方式 登录MRS集群Manager，在主页界面，单击右上角的，在下拉框中单击“关于”，在弹框中查看Manager版本号。 图7 查看版本号 命令方式 以root用户登录Manager主 OMS 节点。 主OMS节点的IP地址信息可在Manager的“主机”页面中查看带有标志的主机信息。 执行如下命令，查看Manager的版本号及平台信息。 su - omm cd ${BIGDATA_HOME}/om-server/om/sbin/pack ./queryManager.sh 显示如下： Version Package Cputype *** FusionInsight_Manager_*** x86_64 ***表示版本号，具体以实际查询的版本号为准。

Manager安全功能 通过Manager的以下模块，可以方便的完成用户权限数据的查看和设置。 角色管理：提供角色的增、删、改、查基本功能，提供角色绑定某个或者多个组件的资源访问权限的功能。 具体请参见管理MRS集群角色。 用户组管理：提供用户组的增、删、改、查基本功能，提供用户组绑定角色的功能。 具体请参见管理MRS集群用户组。 用户管理：提供用户的增、删、改、查基本功能，提供用户绑定用户组和角色的功能。 具体请参见管理MRS集群用户。 租户管理：提供租户的增、删、改、查基本功能以及租户与组件资源的绑定关系。MRS集群为了便于管理，为每个租户都会默认产生一个角色。如果定义租户拥有某些资源的权限，则租户对应的角色就拥有这些资源的权限。 具体请参见管理MRS集群租户。

Manager界面简介 MRS Manager提供统一的集群管理平台，帮助用户快捷、直观的完成集群的运行维护。 图1 MRS 3.x版本Manager界面 界面最上方为操作栏，中部为显示区，最下方为任务栏，操作栏各操作入口的详细功能如下表所示。 表1 界面操作入口功能描述（MRS 3.x版本） 入口 功能描述 主页 提供柱状图、折线图、表格等多种图表方式展示集群的主要监控指标、主机的状态统计。您可以定制关键监控信息面板，并拖动到任意位置。系统概览支持数据自动刷新。 集群 提供各集群内服务监控、服务操作向导以及服务配置，帮助您对服务进行统一管理。 主机 提供主机监控、主机操作向导，帮助您对主机进行统一管理。 运维 提供告警查询、告警处理指导功能。帮助您及时发现产品故障及潜在隐患，并进行定位排除，以保证系统正常运行。 审计 提供审计日志查询及导出功能。帮助您查阅所有用户活动及操作。 租户资源 提供统一租户管理平台。 系统 提供对FusionInsight Manager的系统管理设置，例如用户权限设置。 图2 MRS 2.x版本Manager界面 表2 界面操作入口功能描述（MRS 2.x版本） 界面 功能描述 系统概览 提供柱状图、折线图、表格等多种图表方式展示所有服务的状态、各服务的主要监控指标、主机的状态统计。用户可以定制关键监控信息面板，并拖动到任意位置。系统概览支持数据自动刷新。 服务管理 提供服务监控、服务操作向导以及服务配置，帮助用户对服务进行统一管理。 主机管理 提供主机监控、主机操作向导，帮助用户对主机进行统一管理。 告警管理 提供告警查询、告警处理指导功能。帮助用户及时发现产品故障及潜在隐患，并进行定位排除，以保证系统正常运行。 审计管理 提供审计日志查询及导出功能。帮助用户查阅所有用户活动及操作。 租户管理 提供统一租户管理平台。 系统设置 用户可以进行监控和告警配置管理、备份管理。

Manager概述 MRS为用户提供海量数据的管理及分析功能，快速从结构化和非结构化的海量数据中挖掘您所需要的价值数据。开源组件结构复杂，安装、配置、管理过程费时费力，使用Manager将为您提供企业级的集群的统一管理平台。 提供集群状态的监控功能，您能快速掌握服务及主机的运行状态。 提供图形化的指标监控及定制，您能及时的获取系统的关键信息。 提供服务属性的配置功能，满足您实际业务的性能需求。 提供集群、服务、角色实例的操作功能，满足您一键启停等操作需求。 提供权限管理及审计功能，您能设置访问控制及管理操作日志。

MRS集群部署类型说明 表1 MRS集群部署类型 常用模板 说明 节点数量范围 管控合设 管理角色和控制角色共同部署在Master节点中， 数据实例 合设在同一节点组。该部署方式适用于100个以下的节点，可以减少成本。 Master节点数量大于等于3个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。 管控数合设 生产环境或商用环境不推荐使用此场景。 管理节点、控制节点和数据节点合并部署时，集群性能和可靠性都会产生较大影响。 如节点数量满足需求，建议将数据节点单独部署。 Master节点数量大于等于3个，小于等于100个。 节点组数量总和小于等于10个。 管控分设 管理角色和控制角色分别部署在不同的Master节点中，数据实例合设在同一节点组。该部署方式适用于100-500个节点，在高并发负载情况下表现更好。 Master节点数量大于等于5个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。 数据分设 管理角色和控制角色分别部署在不同的Master节点中，数据实例分设在不同节点组。该部署方式适用于500个以上的节点，可以将各组件进一步分开部署，适用于更大的集群规模。 Master节点数量大于等于9个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。

MRS集群服务角色部署规则说明 MRS系统由多种服务按照一定的逻辑架构组合而成，每个服务包含一个或多个角色，每个角色可以部署一个或多个实例。 服务：服务对外表现为集群提供的组件业务能力，集群中的每个组件对应一个服务名，提供一种服务。 角色：角色是服务的组成要素，每个服务由一个或多个角色组成，服务通过角色安装到节点（即服务器）上，保证服务正常运行。 实例：当一个服务的角色安装到节点上，即形成一个实例。每个服务有各自对应的角色实例。 各服务的部署原则如MRS集群部署方案说明所示。 A依赖于B（服务级）：若集群中部署A服务，需要提前部署B服务，B为A提供基础能力。 A关联于B（服务级）：A服务与B服务在业务进行中会产生数据交互，不存在部署上的依赖关系。 A与B共机部署（角色级）：若集群中部署A角色，需要同时部署B角色，且A与B需要部署在相同的节点上。 表2 MRS集群角色部署规则 服务名称 依赖关系 角色名称 角色业务部署建议 OMSServer - OMSServer 部署在Master节点上，不支持修改。 ClickHouse 依赖ZooKeeper CHS（ClickHouseServer） 所有节点均可部署。 角色实例部署数量范围：2~256，必须为偶数个。 CLB（ClickHouseBalancer） 所有节点均可部署。 角色实例部署数量范围：2~256。 Flink 依赖ZooKeeper 依赖KrbServer 依赖DBService 依赖Hadoop FR(FlinkResource) 所有节点均可部署。 角色实例部署数量范围：1~10000。 FS(FlinkServer) 所有节点均可部署。 角色实例部署数量范围：0~2。 Flume - MS(MonitorServer) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 F(Flume) 所有节点均可部署。 角色实例部署数量范围：1~10000。 Hadoop 依赖ZooKeeper NN(NameNode) 只能部署在Master节点上。 角色实例部署数量范围：2。 HFS（HttpFS） 只能部署在Master节点上。 角色实例部署数量范围：0~10。 JN(JournalNode) 只能部署在Master节点上。 角色实例部署数量范围：3~60，步长为2。 DN(DataNode) 所有节点均可部署。 角色实例部署数量范围：3~10000。 RM(ResourceManager) 只能部署在Master节点上。 角色实例部署数量范围：2。 NM(NodeManager) 所有节点均可部署。 角色实例部署数量范围：3~10000。 JHS(JobHistoryServer) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 TLS(TimelineServer) 只能部署在Master节点上。 角色实例部署数量范围：0~1。 HBase 依赖Hadoop HM(HMaster) 只能部署在Master节点上。 角色实例部署数量范围：2。 TS(ThriftServer) 所有节点均可部署。 角色实例部署数量范围：0~10000。 RT(RESTServer) 所有节点均可部署。 角色实例部署数量范围：0~10000。 RS(RegionServer) 所有节点均可部署。 角色实例部署数量范围：3~10000。 TS1(Thrift1Server) 所有节点均可部署。 角色实例部署数量范围：0~10000。 若集群安装了Hue服务并且需要在Hue WebUI使用HBase，HBase服务需安装此实例。 HetuEngine 依赖Hadoop 依赖DBService 依赖Hive 依赖ZooKeeper 依赖KrbServer 依赖Yarn 依赖HDFS HSB(HSBroker) 所有节点均可部署。 角色实例部署数量范围：2~50。 HSC(HSConsole) 所有节点均可部署。 角色实例部署数量范围：2。 HSF(HSFabric) 所有节点均可部署。 角色实例部署数量范围：0~50。 QAS（仅适用于MRS 3.2.0-LTS.1及以后版本） 所有节点均可部署。 角色实例部署数量范围：0~2。 Hive 依赖Hadoop 依赖DBService MS(MetaStore) 只能部署在Master节点上。 角色实例部署数量范围：2~10。 WH（WebHCat） 只能部署在Master节点上。 角色实例部署数量范围：1~10。 HS(HiveServer) 只能部署在Master节点上。 角色实例部署数量范围：2~80。 Hue 依赖DBService H(Hue) 只能部署在Master节点上。 角色实例部署数量范围：2。 Impala 依赖Hadoop 依赖Hive 依赖DBService 依赖ZooKeeper StateStore 只能部署在Master节点上。 角色实例部署数量范围：1。 Catalog 只能部署在Master节点上。 角色实例部署数量范围：1。 Impalad 所有节点均可部署。 角色实例部署数量范围：1~10000。 IoTDB 依赖KrbServer CN（ConfigNode） 只能部署在Master节点上。 角色实例部署数量范围：3~9，步长为2。 IoTDBS（IoTDBServer） 所有节点均可部署。 角色实例部署数量范围：3~256。 Kafka 依赖ZooKeeper B(Broker) 所有节点均可部署。 角色实例部署数量范围：3~10000。 Kudu - KuduMaster 只能部署在Master节点上。 角色实例部署数量范围：3或者5。 KuduTserver 所有节点均可部署。 角色实例部署数量范围：3~10000。 Loader 依赖Hadoop 依赖DBService LS(LoaderServer) 只能部署在Master节点上。 角色实例部署数量范围：2。 Oozie 依赖Hadoop 依赖DBService 依赖ZooKeeper O(oozie) 只能部署在Master节点上。 角色实例部署数量范围：2。 Presto 依赖Hive PCD(Coordinator) 只能部署在Master节点上。 角色实例部署数量范围：2。 PWK(Worker) 所有节点均可部署。 角色实例部署数量范围：1~10000。 Ranger 依赖DBService RA(RangerAdmin) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 USC(UserSync) 只能部署在Master节点上。 角色实例部署数量范围：1。 TSC（TagSync） 所有节点均可部署。 角色实例部署数量范围：0~1。 Spark 依赖Hadoop 依赖Hive 依赖ZooKeeper JS(JD BCS erver) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 JH(JobHistory) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 SR(SparkResource) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 Spark2x 依赖Hadoop 依赖Hive 依赖ZooKeeper JS2X(JDB CS erver2x) 只能部署在Master节点上。 角色实例部署数量范围：2~10。 JH2X(JobHistory2x) 只能部署在Master节点上。 角色实例部署数量范围：2。 SR2X(SparkResource2x) 只能部署在Master节点上。 角色实例部署数量范围：2~50。 IS2X(IndexServer2x) （可选）只能部署在Master节点上。 角色实例部署数量范围：0~2，步长为2。 Sqoop 依赖Hadoop SC(SqoopClient) 所有节点均可部署。 角色实例部署数量范围：1~10000。 Tez 依赖Hadoop 依赖DBService 依赖ZooKeeper TUI(TezUI) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 ZooKeeper - QP(quorumpeer) 只能部署在Master节点上。 角色实例部署数量范围：3~9，步长为2。

MRS自定义策略样例 示例1：授权用户仅有创建MRS集群的权限。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create", "ecs:*:*", "bms:*:*", "evs:*:*", "vpc:*:*", "smn:*:*" ] } ] } 示例2：授权用户具有调整MRS集群的权限。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:resize" ] } ] } 示例3：授权用户创建集群、创建并执行作业、删除单个作业，但不允许用户删除集群的权限。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create", "mrs:job:submit", "mrs:job:delete" ] }, { "Effect": "Deny", "Action": [ "mrs:cluster:delete" ] } ] } 示例4：授权用户最小权限，创建ECS规格的MRS集群。 创建集群时如果使用密钥对，需增加权限“ecs:serverKeypairs:get”和“ecs:serverKeypairs:list”。 创集群时使用数据盘加密，需增加权限“kms:cmk:list”。 创建集群时开启告警功能，需增加权限“mrs:alarm:subscribe”。 创建集群时使用外置数据源，需增加权限“rds:instance:list”。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create" ] }, { "Effect": "Allow", "Action": [ "ecs:cloudServers:updateMetadata", "ecs:cloudServerFlavors:get", "ecs:cloudServerQuotas:get", "ecs:servers:list", "ecs:servers:get", "ecs:cloudServers:delete", "ecs:cloudServers:list", "ecs:serverInterfaces:get", "ecs:serverGroups:manage", "ecs:servers:setMetadata", "ecs:cloudServers:get", "ecs:cloudServers:create" ] }, { "Effect": "Allow", "Action": [ "vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create", "vpc:ports:create", "vpc:securityGroups:get", "vpc:subnets:create", "vpc:privateIps:delete", "vpc:quotas:list", "vpc:networks:get", "vpc:publicIps:list", "vpc:securityGroups:delete", "vpc:securityGroupRules:create", "vpc:privateIps:create", "vpc:ports:get", "vpc:ports:delete", "vpc:publicIps:update", "vpc:subnets:get", "vpc:publicIps:get", "vpc:ports:update", "vpc:vpcs:list" ] }, { "Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get" ] }, { "Effect": "Allow", "Action": [ "bms:serverFlavors:get" ] } ] } 示例5：授权用户最小权限，创建BMS规格的MRS集群。 创建集群时如果使用密钥对，需增加权限“ecs:serverKeypairs:get”和“ecs:serverKeypairs:list”。 创集群时使用数据盘加密，需增加权限“kms:cmk:list”。 创建集群时开启告警功能，需增加权限“mrs:alarm:subscribe”。 创建集群时使用外置数据源，需增加权限“rds:instance:list”。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create" ] }, { "Effect": "Allow", "Action": [ "ecs:servers:list", "ecs:servers:get", "ecs:cloudServers:delete", "ecs:serverInterfaces:get", "ecs:serverGroups:manage", "ecs:servers:setMetadata", "ecs:cloudServers:create", "ecs:cloudServerFlavors:get", "ecs:cloudServerQuotas:get" ] }, { "Effect": "Allow", "Action": [ "vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create", "vpc:ports:create", "vpc:securityGroups:get", "vpc:subnets:create", "vpc:privateIps:delete", "vpc:quotas:list", "vpc:networks:get", "vpc:publicIps:list", "vpc:securityGroups:delete", "vpc:securityGroupRules:create", "vpc:privateIps:create", "vpc:ports:get", "vpc:ports:delete", "vpc:publicIps:update", "vpc:subnets:get", "vpc:publicIps:get", "vpc:ports:update", "vpc:vpcs:list" ] }, { "Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get" ] }, { "Effect": "Allow", "Action": [ "bms:servers:get", "bms:servers:list", "bms:serverQuotas:get", "bms:servers:updateMetadata", "bms:serverFlavors:get" ] } ] } 示例6：授权用户最小权限，创建ECS和BMS混合集群。 创建集群时如果使用密钥对，需增加权限“ecs:serverKeypairs:get”和“ecs:serverKeypairs:list”。 创集群时使用数据盘加密，需增加权限“kms:cmk:list”。 创建集群时开启告警功能，需增加权限“mrs:alarm:subscribe”。 创建集群时使用外置数据源，需增加权限“rds:instance:list”。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "mrs:cluster:create" ] }, { "Effect": "Allow", "Action": [ "ecs:cloudServers:updateMetadata", "ecs:cloudServerFlavors:get", "ecs:cloudServerQuotas:get", "ecs:servers:list", "ecs:servers:get", "ecs:cloudServers:delete", "ecs:cloudServers:list", "ecs:serverInterfaces:get", "ecs:serverGroups:manage", "ecs:servers:setMetadata", "ecs:cloudServers:get", "ecs:cloudServers:create" ] }, { "Effect": "Allow", "Action": [ "vpc:securityGroups:create", "vpc:securityGroupRules:delete", "vpc:vpcs:create", "vpc:ports:create", "vpc:securityGroups:get", "vpc:subnets:create", "vpc:privateIps:delete", "vpc:quotas:list", "vpc:networks:get", "vpc:publicIps:list", "vpc:securityGroups:delete", "vpc:securityGroupRules:create", "vpc:privateIps:create", "vpc:ports:get", "vpc:ports:delete", "vpc:publicIps:update", "vpc:subnets:get", "vpc:publicIps:get", "vpc:ports:update", "vpc:vpcs:list" ] }, { "Effect": "Allow", "Action": [ "evs:quotas:get", "evs:types:get" ] }, { "Effect": "Allow", "Action": [ "bms:servers:get", "bms:servers:list", "bms:serverQuotas:get", "bms:servers:updateMetadata", "bms:serverFlavors:get" ] } ] }

在Manager查看主备管理节点 当前操作仅适用于MRS 3.x及之后版本。 登录Manager页面，具体操作请参考访问MRS集群Manager。 单击“主机”，进入主机页面。 查看并记录主备管理节点IP。 图1 查看并记录主备管理节点IP 主机名称前带有表示主管理节点（主OMS节点），查看对应主机行的“管理IP”，即为对应节点IP。 主机名称前带有表示备管理节点（备OMS节点），查看对应主机行的“管理IP”，即为对应节点IP。

通过执行脚本确定主备管理节点 获取MRS集群的Master节点信息。 登录MRS管理控制台，选择“现有集群”，单击待操作集群名称，进入集群信息页面。 单击“节点管理”查看Master节点名称，名称中包含“master1”的节点为Master1节点，名称中包含“master2”的节点为Master2节点。 确认集群主备管理节点。 远程登录Master1节点，请参见登录MRS集群节点。 Master节点支持Cloud-Init特性，Cloud-init预配置的用户名“root”，密码为创建集群时设置的密码。 执行以下命令切换用户。 sudo su - root su - omm 执行以下命令确认主备管理节点： MRS 3.x之前版本集群执行命令： sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms.sh MRS 3.x及之后版本集群执行命令： sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh 回显信息中“HAActive”参数值为“active”的节点为主管理节点（如下例中“mgtomsdat-sh-3-01-1”为主管理节点），参数值为“standby”的节点为备管理节点（如下例中“mgtomsdat-sh-3-01-2”为备管理节点）。 Ha mode double NodeName HostName HAVersion StartTime HAActive HAAllResOK HARunPhase 192-168-0-30 mgtomsdat-sh-3-01-1 V100R001C01 20xx-11-18 23:43:02 active normal Actived 192-168-0-24 mgtomsdat-sh-3-01-2 V100R001C01 20xx-11-21 07:14:02 standby normal Deactived 如果当前登录的Master1节点是备管理节点，且需要登录到主管理节点时，请执行以下命令： ssh Master2节点IP地址

ECS规格 表1 通用计算增强型（C型）弹性云服务器的规格 类型 vCPU 内存(GB) 规格名称 虚拟化类型 C3型 32 64 c3.8xlarge.2 KVM C3型 16 64 c3.4xlarge.4 KVM C3型 32 128 c3.8xlarge.4 KVM C3型 60 256 c3ne.15xlarge.4 KVM C3ne型 32 64 c3ne.8xlarge.2 KVM C3ne型 16 64 c3ne.4xlarge.4 KVM C3ne型 32 128 c3ne.8xlarge.4 KVM C3ne型 60 256 c3ne.15xlarge.4 KVM C6型 32 64 c6.8xlarge.2 KVM C6型 64 128 c6.16xlarge.2 KVM C6型 16 64 c6.4xlarge.4 KVM C6型 32 128 c6.8xlarge.4 KVM C6型 64 256 c6.16xlarge.4 KVM C6s型 32 64 c6s.8xlarge.2 KVM C6s型 64 128 c6s.16xlarge.2 KVM C7型 32 64 c7.8xlarge.2 基于擎天架构的自研极简虚拟化 C7型 64 128 c7.16xlarge.2 基于擎天架构的自研极简虚拟化 C7型 128 256 c7.32xlarge.2 基于擎天架构的自研极简虚拟化 C7型 16 64 c7.4xlarge.4 基于擎天架构的自研极简虚拟化 C7型 32 128 c7.8xlarge.4 基于擎天架构的自研极简虚拟化 C7型 64 256 c7.16xlarge.4 基于擎天架构的自研极简虚拟化 C7型 128 512 c7.32xlarge.4 基于擎天架构的自研极简虚拟化 表2 内存优化型弹性云服务器的规格 类型 vCPU 内存(GB) 规格名称 虚拟化类型 M3型 8 64 m3.2xlarge.8 KVM M3型 16 128 m3.4xlarge.8 KVM M3型 32 256 m3.8xlarge.8 KVM M3型 60 512 m3.15xlarge.8 KVM M6型 8 64 m6.2xlarge.8 KVM M6型 16 128 m6.4xlarge.8 KVM M6型 32 256 m6.8xlarge.8 KVM M6型 64 512 m6.16xlarge.8 KVM M7型 8 64 m7.2xlarge.8 基于擎天架构的自研极简虚拟化 M7型 16 128 m7.4xlarge.8 基于擎天架构的自研极简虚拟化 M7型 32 256 m7.8xlarge.8 基于擎天架构的自研极简虚拟化 M7型 64 512 m7.16xlarge.8 基于擎天架构的自研极简虚拟化 M7型 128 1024 m7.32xlarge.8 基于擎天架构的自研极简虚拟化 表3 鲲鹏通用计算增强型（KC1型）弹性云服务器的规格 类型 vCPU 内存(GB) 规格名称 虚拟化类型 KC1型 16 64 kc1.4xlarge.4 KVM KC1型 32 64 kc1.8xlarge.2 KVM KC1型 32 128 kc1.8xlarge.4 KVM KC1型 60 120 kc1.15xlarge.2 KVM 表4 鲲鹏内存优化型（KM1型）弹性云服务器的规格 类型 vCPU 内存(GB) 规格名称 虚拟化类型 KM1型 8 64 km1.2xlarge.8 KVM KM1型 16 128 km1.4xlarge.8 KVM KM1型 32 256 km1.8xlarge.8 KVM KM1型 60 480 km1.15xlarge.8 KVM 表5 鲲鹏超高I/O型（KI1型）弹性云服务器的规格 类型 vCPU 内存(GB) 规格名称 虚拟化类型 KI1型 16 64 ki1.4xlarge.4 KVM KI1型 32 128 ki1.8xlarge.4 KVM KI1型 64 228 ki1.16xlarge.4 KVM 表6 超高I/O型弹性云服务器的规格 类型 vCPU 内存(GB) 规格名称 虚拟化类型 I3型 8 64 i3.2xlarge.8 KVM I3型 16 128 i3.4xlarge.8 KVM I3型 32 256 i3.8xlarge.8 KVM I3型 64 512 i3.16xlarge.8 KVM IR3型 16 64 ir3.4xlarge.4 KVM IR3型 32 128 ir3.8xlarge.4 KVM

补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.10 发布时间 2020-09-21 解决的问题 MRS 2.1.0.10 修复问题列表： MRS Manager 解决安装补丁后扩容会导致capacity-schedule.xml中新增的队列配置丢失问题 回退全链路监控 大数据组件 解决spark操作hive赋权失败问题 解决不指定队列，默认提交到launcher-job队列，影响任务正常运行问题 MRS 2.1.0.9 修复问题列表： MRS Manager 解决MRS Executor内存溢出问题 优化扩容流程 解决sparkSql包含空格的情况拼接sql错误问题 解决偶现HiveSql作业提交失败问题 优化keytab文件下载的权限控制 大数据组件 解决Presto角色名称包含大写字母，权限模型未生效问题 解决Hive删除分区慢的问题 解决Spark长时间运行Token过期问题 MRS 2.1.0.8 修复问题列表： MRS Manager 解决委托访问OBS，ECS接口限流问题 MRS Manager支持多人登录 支持全链路监控 MRS大数据组件 carbon2.0升级 解决HBASE-18484问题 MRS 2.1.0.7 修复问题列表： MRS Manager 解决DLF+Presto查询时字段中包含换行符，数据和文件显示问题 支持presto查询结果保存成一个文件 MRS 2.1.0.6 修复问题列表： MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2.1.0.5 修复问题列表： MRS大数据组件 impala支持ObsFileSystem功能 支持MRS Manager页面以及组件原生页面超时时间可配置 解决Hive绑定权限卡顿问题 解决数据连接失败问题 MRS 2.1.0.3 修复问题列表： MRS Manager Manager executor高并发提交作业问题 MRS大数据组件 hive on tez插入数据失败问题 MRS 2.1.0.2 修复问题列表： MRS Manager nodeagent重启后不显示监控信息 长时间提交作业，manager executor进程会内存溢出 支持提交作业，manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 MRS 2.1.0.1 修复问题列表： MRS Manager 优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。 MRS大数据组件 MRS Hive解决hive server内存泄露问题：HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.10补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 已修复漏洞披露 解决Spark远程代码执行漏洞，漏洞详细请参考CVE-2020-9480

操作场景 为了确保元数据信息安全，或者用户在对元数据功能进行重大操作（如扩容缩容、安装补丁包、升级或迁移等）前后，需要对元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。元数据包含OMS数据、LdapServer数据、DBService数据和NameNode数据。备份Manager数据包含同时备份OMS数据和LdapServer数据。 默认情况下，元数据备份由“default”任务支持。该任务指导用户通过MRS Manager创建备份任务并备份元数据。支持创建任务自动或手动备份数据。

补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.1.2 发布时间 2019-09-30 解决的问题 MRS 2.0.1.2 修复问题列表： MRS Manager 解决RM执行refreshNodes超时导致的偶现扩容失败问题 MRS 2.0.1.1 修复问题列表： MRS Manager 解决反复扩缩容导致MRS Master节点executor内存溢出问题 MRS大数据组件 MRS Presto新增Presto支持OBSFileSystem MRS Presto解决频繁打印jstack，以及日志文件太大不滚动问题 补丁兼容关系 MRS 2.0.1.2补丁包中包含MRS 2.0.1.1补丁包的全部内容。

添加Task节点 MRS集群创建成功之后，如果需要规划Task类型的节点组进行弹性伸缩，可通过手动添加节点组的方式进行配置。 “自定义”类型集群添加Task节点操作步骤： 在集群详情页面，选择“节点管理”页签，单击“新增节点组”，进入“新增节点组”页面。 节点类型选择“Task”，“部署角色”参数默认选择“NM”部署NodeManager角色，则新增节点组为Task节点组，其他参数根据需要配置。 图1 添加Task节点组 非“自定义”类型集群添加Task节点操作步骤： 在集群详情页面，选择“节点管理”页签，单击“配置Task节点”，进入“配置Task节点”页面。 配置“节点类型”、“节点规格”、“节点数量”、“系统盘”，如开启“添加数据盘”后，还需要配置数据盘的存储类型、大小和数量。 单击“确定”。

扩容按需集群 登录MRS管理控制台。 选择“现有集群” ，选中一个运行中的集群并单击集群名称，进入集群信息页面。 选择“节点管理”页签，在需要扩容的节点组的“操作”列单击“扩容”，进入扩容集群页面。 只有运行中的集群才能进行扩容操作。 设置“系统盘”和“数据盘”的类型、“扩容节点数量”、“启动组件”和“执行引导操作”参数，并单击“确定”。“启动组件”和“执行引导操作”参数部分版本的集群可能不支持，请以界面实际参数为准。 若集群中没有Task节点组，请参考相关任务配置Task节点。 如果创建集群时添加了引导操作，则“执行引导操作”参数有效，开启该功能时扩容的节点会把创建集群时添加的引导操作脚本都执行一遍。 如果“新节点规格”参数有效，则表示与原有节点相同的规格已售罄或已下架，新扩容的节点将按照“新节点规格”增加。 扩容集群前需要检查集群安全组是否配置正确，要确保集群入方向安全组规则中有一条全部协议，全部端口，源地址为可信任的IP访问范围的规则。 进入“扩容节点”窗口，单击“确认”。 页面右上角弹出扩容节点提交成功提示框。 集群扩容过程说明如下： 扩容中：集群正在扩容时集群状态为“扩容中”。已提交的作业会继续执行，也可以提交新的作业，但不允许继续扩容和删除集群，也不建议重启集群和修改集群配置。 扩容成功：集群扩容成功后集群状态为“运行中”，计费会按照新增节点加上已有节点使用的资源计算。 扩容失败：集群扩容失败时集群状态为“运行中”。用户可以执行作业，也可以重新进行扩容操作。 扩容成功后，可以在集群详情的“节点管理”页签查看集群的节点信息。

约束条件 对于已安装HBase组件的节点组扩容时： 如果集群没有开启节点自动注册DNS，扩容该节点组时需选择不启动组件，之后请参考服务端配置过期后更新MRS集群客户端更新完HBase客户端配置后再启动扩容节点上的HBase组件实例。 以下版本默认开启了集群自动注册DNS，也可以请通过查询对应版本元数据查询返回体中features字段是否包含register_dns_server这个值来判断是否支持DNS特性。 MRS 1.9.3、MRS 3.1.0、MRS 3.1.2-LTS、MRS 3.1.5以及MRS 3.2.0-LTS。 扩容后，集群内节点已安装的客户端无需更新，集群外节点安装的客户端请参考服务端配置过期后更新MRS集群客户端进行更新。 扩容后，如需对HDFS数据进行均衡操作，请参考配置DataNode容量均衡。如需对Kafka数据进行均衡操作，请参考Kafka均衡工具使用说明。

补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.5 发布时间 2020-05-27 解决的问题 MRS 2.1.0.5 修复问题列表： MRS大数据组件 impala支持ObsFileSystem功能 支持MRS Manager页面以及组件原生页面超时时间可配置 解决Hive绑定权限卡顿问题 解决数据连接失败问题 MRS 2.1.0.3 修复问题列表： MRS Manager Manager executor高并发提交作业问题 MRS大数据组件 hive on tez插入数据失败问题 MRS 2.1.0.2 修复问题列表： MRS Manager nodeagent重启后不显示监控信息 长时间提交作业，manager executor进程会内存溢出 支持提交作业，manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 MRS 2.1.0.1 修复问题列表： MRS Manager 优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。 MRS大数据组件 MRS Hive解决hive server内存泄露问题：HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.5补丁包中包含MRS 2.1.0版本发布的所有补丁内容。

安装补丁的影响 安装MRS 1.9.2.2补丁期间会重启MRS Manager，滚动重启Hadoop、Hive、Spark、Kafka、Ranger、Presto以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 1.9.2.2补丁安装后，需要重启OMS服务。 使用root用户登录主备OMS节点，切换至omm用户，执行命令sh ${BIGDATA_HOME}/om-0.0.1/sbin/restart-oms.sh重启OMS服务。 主备OMS节点都需要重启。 MRS 1.9.2.2补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（2.x及之前版本）。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。

补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.2.2 发布时间 2021-05-18 解决的问题 MRS Manager 解决sudo提权漏洞 解决扩容刷新队列会导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block id乱码，导致任务卡住问题 Hive中增加自研的接口 解决map.xml无法读取的问题 Hive har特性优化 解决ZK脏数据导致Yarn服务不可用问题 OBS包升级 JDK版本升级 解决Yarn的ResourceManager内存泄漏问题 增加对调用ECS getSecuritykey接口异常的监控 优化刷新临时AK/Sk流程 解决ResourceManager内存泄露问题 解决Hive union语句合并小文件报错问题 解决Hadoop的task任务报空间不足失败问题 解决hive作业成功无数据生成问题 补丁兼容关系 无。

告警解释 系统每60秒周期性检测Kafka各个Topic的过载情况，当检测到某个Topic在过载磁盘上的Partition数占比超出阈值（默认40%）时，产生该告警。 平滑次数为1，当某个Topic在过载磁盘上的Partition数占比低于阈值（默认40%）时，告警恢复。 过载磁盘定义：磁盘分区的IO使用率大于80%的磁盘认为是过载磁盘。 例如： 某TopicA的Partition分布在三个Broker上，其中两个Broker上Partition所在磁盘分区的IO使用率大于80%。 那么，在过载磁盘上的Partition占比等于2/3，大于40%，触发告警。

集群创建成功后关闭安全通信 登录MRS管理控制台。 在现有集群列表中，单击待关闭安全通信的集群名称。 系统跳转至该集群详情页面。 图2 通信安全授权 单击“通信安全授权”右侧的开关关闭授权，在弹出窗口单击“确定”。 关闭授权后将导致集群状态变更为“网络通道未授权”，集群部分功能不可用，请谨慎操作。 图3 关闭通信安全授权 若用户已开启敏感操作保护（详见 IAM 服务的敏感操作），则输入选择的对应验证方式获取的验证码进行进行验证，避免误操作带来的风险和损失。 图4 身份验证

创建集群时开启安全通信 登录MRS管理控制台。 单击“购买集群”，进入购买集群页面。 在购买集群页面，选择“快速购买”或“自定义购买”。 参考快速购买MRS集群或自定义购买MRS集群配置集群信息。 在“通信安全授权”栏，勾选通信安全授权。 图1 通信安全授权 单击“立即购买”创建集群。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。

补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.7 发布时间 2020-07-15 解决的问题 MRS 2.1.0.7 修复问题列表： MRS Manager 解决DLF+Presto查询时字段中包含换行符，数据和文件显示问题 支持presto查询结果保存成一个文件 MRS 2.1.0.6 修复问题列表： MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制 MRS大数据组件 解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2.1.0.5 修复问题列表： MRS大数据组件 impala支持ObsFileSystem功能 支持MRS Manager页面以及组件原生页面超时时间可配置 解决Hive绑定权限卡顿问题 解决数据连接失败问题 MRS 2.1.0.3 修复问题列表： MRS Manager Manager executor高并发提交作业问题 MRS大数据组件 hive on tez插入数据失败问题 MRS 2.1.0.2 修复问题列表： MRS Manager nodeagent重启后不显示监控信息 长时间提交作业，manager executor进程会内存溢出 支持提交作业，manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 MRS 2.1.0.1 修复问题列表： MRS Manager 优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。 MRS大数据组件 MRS Hive解决hive server内存泄露问题：HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.7补丁包中包含MRS 2.1.0版本发布的所有补丁内容。

告警解释 系统每15分钟周期性检测提交到Yarn上的Mapreduce和Spark应用任务（JDBC常驻任务除外），当检测到任务执行时间超过用户指定的超时时间时，产生该告警，但任务仍继续正常执行。其中，Mapreduce的客户端超时参数为“mapreduce.application.timeout.alarm”，Spark的客户端超时参数为“spark.application.timeout.alarm”（单位：毫秒）。 当该任务结束或者任务被终止后，该告警会自动清除。

登录弹性云服务器（VNC方式） 登录 MapReduce服务 管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名，进入集群基本信息页面。 在“节点管理”页签单击Master节点组中某一Master节点名称，登录到弹性云服务器管理控制台。 单击右上角的“远程登录”。 根据界面提示，输入Master节点的用户名和密码。 创建集群时登录方式选择了“密码”，如图1。此时，你需要输入的用户名、密码分别是root和创建集群时设置的密码。 图1 密码方式 创建集群时登录方式选择了密钥对，则使用如下方式登录： 创建集群成功后，参见为弹性云服务器申请和绑定弹性公网IP为集群的Master节点绑定一个弹性IP地址。 使用root用户名和密钥文件，SSH方式远程登录Master节点。 执行passwd root命令，设置root用户密码。 设置成功后，返回界面登录方式，输入root用户名和5.b.iii设置的密码，登录节点。