云服务器内容精选

  • 组件重启参考信息 当前 MRS 集群中,服务和实例是否支持滚动重启如表2所示。 表2 服务和实例是否支持滚动重启 服务 实例 是否支持滚动重启 Alluxio AlluxioJobMaster 是 AlluxioMaster ClickHouse ClickHouseServer 是 ClickHouseBalancer CDL CDLConnector 是 CDLService Flink FlinkResource 否 FlinkServer Flume Flume 是 MonitorServer Guardian TokenServer 是 HBase HMaster 是 RegionServer ThriftServer RESTServer HetuEngine HSBroker 是 HSConsole HSFabric QAS HDFS NameNode 是 Zkfc JournalNode HttpFS DataNode Hive MetaStore 是 WebHCat HiveServer Hue Hue 否 Impala Impalad 否 StateStore Catalog IoTDB IoTDBServer 是 Kafka Broker 是 KafkaUI 否 Kudu KuduTserver 是 KuduMaster Loader Sqoop 否 Mapreduce JobHistoryServer 是 Oozie oozie 否 Presto Coordinator 是 Worker Ranger RangerAdmin 是 UserSync TagSync Spark JobHistory 是 JD BCS erver SparkResource Storm Nimbus 是 UI Supervisor Logviewer Tez TezUI 否 Yarn ResourceManager 是 NodeManager ZooKeeper Quorumpeer 是 实例启动时长如表3所示: 表3 重启时长参考 服务名称 重启时长 启动时长 附加说明 IoTDB 3min IoTDBServer:3min - CDL 2min CDLConnector:1min CDLService:1min - ClickHouse 4min ClickHouseServer:2min ClickHouseBalancer:2min - HDFS 10min+x NameNode:4min+x DataNode:2min JournalNode:2min Zkfc:2min x为NameNode元数据加载时长,每千万文件大约耗时2分钟,例如5000万文件x为10分钟。 由于受DataNode数据块上报影响启动时间有一定浮动。 Yarn 5min+x ResourceManager:3min+x NodeManager:2min x为ResourceManager保留任务数恢复时长,每1万保留任务大约需要1分钟。 Mapreduce 2min+x JobHistoryServer:2min+x x为历史任务扫描时长,每10万任务大约2.5分钟。 ZooKeeper 2min+x quorumpeer:2min+x x为加载znode节点时长,每100万znode大约1分钟。 Hive 3.5min HiveServer:3min MetaStore:1min30s WebHcat:1min Hive整体服务:3min - Spark2x 5min JobHistory2x:5min SparkResource2x:5min JDB CS erver2x:5min - Flink 4min FlinkResource:1min FlinkServer:3min - Kafka 2min+x Broker:1min+x KafkaUI:5 min x为数据恢复时长,单实例20000 partition启动所需时长大约2分钟。 Storm 6min Nimbus:3mins UI:1min Supervisor:1min Logviewer:1min - Flume 3min Flume:2 min MonitorServer:1min - Doris 2分钟 FE:1min BE:1min DBroker:1min -
  • 重启MRS集群组件使用限制 请在低业务负载时间段进行滚动重启操作。 在滚动重启Kafka服务时, 如果Kafka服务业务吞吐量很高(100MB/s以上的情况下),会出现Kafka服务滚动重启失败的情况。 在滚动重启HBase服务时候,如果原生界面上每个RegionServer上每秒的请求数超过10000,需要增大handle数来预防重启过程中负载过大导致的RegionServer重启失败。 重启前需要观察当前HBase的负载请求数(原生界面上每个RegionServer的请求数如果超过10000,需要增大handle数来预防超出负载)。 在集群Core节点个数小于6个的情况下,可能会出现业务短时间受影响的情况。 请优先使用滚动重启操作来重启实例或服务,并勾选“仅重启配置过期的实例”。
  • MRS集群元数据概述 MRS的数据连接用于管理集群中组件使用的外部源连接,如Hive的元数据可以通过数据连接关联使用外部的关系型数据库。 本地元数据:元数据存储于集群内的本地 GaussDB 中,当集群删除时元数据同时被删除,如需保存元数据,需提前前往数据库手动保存元数据。 外置数据连接:可以为MRS集群选择关联与当前MRS集群同一虚拟私有云和子网的外置数据连接。元数据将存储于关联的数据库中,不会随当前集群的删除而删除,多个MRS集群可共享同一份元数据。 MRS集群支持的外置数据连接类型为: 安装了Hive组件的集群支持连接“RDS服务PostgreSQL数据库”,且Postgres数据库版本号为PostgreSQL14。 安装了Hive或Ranger组件的集群支持连接“RDS服务MySQL数据库”,且MySQL数据库版本为MySQL 5.7.x/MySQL 8.0。 仅MRS 3.1.2-LTS.3、MRS 3.1.5和MRS 3.3.0-LTS版本集群支持连接“云数据库GaussDB(for MySQL)”。 集群支持对接LakeFormation时,可选择“LakeFormation”数据连接。 不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的,所以不同集群间的Hive元数据切换,不能自动把用户/用户组的权限同步到另一个集群的Manager上。 父主题: 管理MRS集群元数据
  • MRS对接LakeFormation约束说明 MRS对接LakeFormation前,需要注意以下约束限制: MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云,必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移,再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例,MRS集群之间的Database名称不能重复。 MRS对接LakeFormation后,MRS组件功能约束限制: Hive暂不支持临时表功能。 Hive暂不支持跨集群的列加密表功能。 Hive WebHCat暂不支持对接LakeFormation。 Hive创建内表时如果表目录不为空,则禁止创建表。 Hudi表创建前,需要先在LakeFormation上添加Hudi表目录的路径授权,赋予OBS读写权限。 Hudi表不支持在LakeFormation管理面编辑表的字段,只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表,仅支持使用hive_sync.mode=jdbc,不支持hms方式。 Spark使用小权限用户登录客户端创建数据库时,如果用户没有default库的OBS路径权限,将提示缺少权限,实际创建数据库成功。 MRS对接LakeFormation后,权限策略约束限制: 通过LakeFormation授权仅支持将LakeFormation角色作为授权主体,不支持 IAM 用户或IAM用户组作为授权主体。 PolicySync进程不会修改集群内RangerAdmin Hive模块的默认策略,默认策略仍然生效。 PolicySync进程启动后,会与LakeFormation实例的权限进行比对,删除LakeFormation上不存在的非默认策略,请先完成权限策略迁移到LakeFormation实例上。 RangerAdmin WebUI界面的Hive模块,禁止执行添加、删除权限非默认策略的操作,统一在LakeFormation实例的数据权限界面进行授权操作。 MRS集群取消对接LakeFormation后,RangerAdmin的非默认策略不会清理,需要人工进行清理。 Hive暂不支持Grant授权的SQL语句,需统一在LakeFormation实例的数据权限界面进行授权操作。 MRS暂不支持LakeFormation行过滤权限能力。
  • 为已有MRS集群创建RDS数据连接 该步骤指导用户为当前已有的MRS集群创建RDS数据连接。 登录MRS控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数。 表1 数据连接 参数 示例 说明 类型 - 选择外部源连接的类型。 RDS服务PostgreSQL数据库:安装了Hive组件的集群支持连接该类型数据库。 RDS服务MySQL数据库:安装了Hive或Ranger组件的集群支持连接该类型数据库。 名称 newtest 数据连接的名称。 数据库实例 - RDS服务数据库实例,该实例需要先在RDS服务创建后在此处引用,且已创建数据库,具体请参考创建并配置RDS实例。单击“查看数据库实例”查看已创建的实例。 数据库 dataname 待连接的数据库的名称。 用户名 datauser 登录待连接的数据库的用户名。 密码 - 登录待连接的数据库的密码。 当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考创建并配置RDS实例操作。 单击“确定”完成创建。
  • 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理,用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager,请根据实际情况进行选择: 通过弹性IP访问 FusionInsight Manager:通过为集群绑定弹性公网IP的方式,访问MRS集群Manager界面及集群内托管的开源组件。该方式更加简便易操作,推荐使用该方式访问。 通过云专线访问FusionInsight Manager:云专线用于搭建用户本地数据中心与线上云VPC之间高速、低时延、稳定安全的专属连接通道,充分利用线上云服务优势的同时,继续使用现有的IT设施,实现灵活一体,可伸缩的混合计算环境。 操作前请确保云专线服务可用,并已打通本地数据中心到线上VPC的连接通道。云专线详情请参考什么是云专线。 弹性IP访问和云专线访问可以在MRS集群管理控制台上进行切换:登录MRS管理控制台,在待操作的MRS集群“概览”页面单击“集群管理页面”后的,在打开的页面中进行切换。 通过ECS访问FusionInsight Manager:通过与MRS集群在同一VPC内的ECS节点访问集群Manager界面。该方式操作较为复杂,推荐在不支持EIP功能的场景使用。 通过配置SSH隧道访问MRS集群Manager:用户和MRS集群处于不同的网络中,可以创建一个SSH隧道连接,使用户访问站点的数据请求发送到MRS集群并动态转发到对应的站点。
  • 通过ECS访问MRS集群Manager 进入MRS管理控制台。 在“现有集群”列表中,单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”,进入ECS管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。例如,选择一个标准镜像“Windows Server 2012 R2 Standard 64bit(40GB)”。 其他配置参数详细信息,请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同,用户可以选择以下任一种方法修改配置: 将ECS的安全组修改为Master节点的默认安全组,请参见更改安全组。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问集群,“协议”需选择为“TCP”,“端口”需分别选择“28443”和“20009”。请参见创建安全组。 如果界面提示“添加安全组规则失败”,请检查安全组配额是否不足,请增加配额或删除不再使用的安全组规则。 在EIP管理控制台,申请一个弹性IP地址,并与ECS绑定。 具体请参见为弹性云服务器申请和绑定弹性公网IP。 登录弹性云服务器。 登录ECS需要Windows系统的账号、密码,弹性IP地址以及配置安全组规则。具体请参见Windows云服务器登录方式。 在Windows的远程桌面中,打开浏览器访问Manager。 Manager访问地址为https:// OMS 浮动IP地址:28443/web地址。访问时需要输入集群的用户名和密码,例如“admin”用户。 OMS浮动IP地址:远程登录Master2节点,执行“ifconfig”命令,系统回显中“eth0:wsom”表示OMS浮动IP地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到OMS浮动IP地址,请切换到Master1节点查询并记录。如果只有一个Master节点时,直接在该Master节点查询并记录。 如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。
  • 通过云专线访问MRS集群Manager 登录MRS管理控制台。 单击集群名称进入集群详情页。 在集群详情页面的“概览”页签,单击“集群管理页面”右侧的“前往 Manager”。 “访问方式”选择“专线访问”,并勾选操作影响。 浮动IP为MRS为您访问MRS Manager页面自动分配的IP地址,使用专线访问MRS Manager之前您确保云专线服务已打通本地数据中心到线上VPC的连接通道。 单击“确定”,进入MRS Manager登录页面,用户名使用“admin”,密码为创建集群时设置的admin密码。
  • 配置静态资源(2.x及之前版本) 修改系统资源调整基数。 在MRS Manager界面,单击“系统设置”,在“资源管理”区域单击“静态服务池”。 单击“配置”,显示服务池配置组管理页面。 在“系统资源调整基数”分别修改参数“CPU(%)”和“Memory(%)”。 修改“系统资源调整基数”将限制Flume、HBase、HDFS、Impala和YARN服务能够使用节点的最大物理CPU和内存资源百分比。如果多个服务部署在同一节点,则所有服务使用的最大物理资源百分比不能超过此参数值。 单击“下一步”完成编辑。 需要重新修改参数,可单击页面下方的“上一步”。 修改服务池默认“default”配置组。 在“服务池配置”表格中Flume、HBase、HDFS、Impala和YARN服务对应的“CPU LIMIT(%)”、“CPU SHARE(%)”、“I/O(%)”和“Memory(%)”填写各服务的资源使用百分比数量。 所有服务使用的“CPU LIMIT(%)”资源配置总和可以大于100%。 所有服务使用的“CPU SHARE(%)”和“I/O(%)”资源配置总和需为100%。例如为HDFS和Yarn服务分配使用的CPU资源,2个服务分配到的CPU资源总和为100%。 所有服务使用的“Memory(%)”资源配置总和可以小于或等于100%,也可以大于100%。 “Memory(%)”不支持动态生效,仅在“default”配置组中可以修改。 单击页面空白处完成编辑,MRS Manager将根据集群硬件资源与分配情况,在“详细配置”生成服务池参数的正确配置值。 如果根据业务需要,可以单击“详细配置”右侧的编辑按钮修改服务池的参数值。 在“服务池配置”单击指定的服务名,“详细配置”将只显示此服务的参数。手工修改参数值并不会刷新服务使用资源的百分比显示。支持动态生效的参数,在新增加的配置组中显示名将包含配置组的编号,例如“HBase : RegionServer : dynamic-config1.RES_CPUSET_PERCENTAGE”,参数作用与“default”配置组中的参数相同。 表1 静态服务池参数一览 参数名 参数描述 RES_CPUSET_PERCENTAGE dynamic-configX.RES_CPUSET_PERCENTAGE 配置服务使用CPU PERCENTAGE。 RES_CPU_SHARE dynamic-configX.RES_CPU_SHARE 配置服务使用CPU share。 RES_BLKIO_WEIGHT dynamic-configX.RES_BLKIO_WEIGHT 配置服务占用I/O的权重。 HBASE_HEAPSIZE 配置RegionServer的JVM最大内存。 HADOOP_HEAPSIZE 配置DataNode的JVM最大内存。 yarn.nodemanager.resource.memory-mb 配置当前节点上NodeManager可使用的内存大小。 dfs.datanode.max.locked.memory 配置DataNode用做HDFS缓存的最大内存。 FLUME_HEAPSIZE 配置每个flume实例能使用的最大JVM内存。 IMPALAD_MEM_LIMIT 配置impalad实例可使用的最大内存。 添加自定义资源配置组。 是否需要根据时间自动调整资源配置? 是,执行3.b。 否,执行4。 单击增加新的资源配置组。在“调度时间”,单击编辑按钮显示时间策略配置页面。 根据业务需要修改以下参数,并单击“确定”保存: “重复”:当勾选“重复”时表示此资源配置组按调度周期重复运行。不勾选时请设置一个资源配置组应用的日期与时间。 “重复策略”:支持“每天”、“每周”和“每月”。仅在“重复”模式中生效。 “介于”:表示资源配置组应用的开始与结束时间。请设置一个唯一的时间区间,如果与已有配置组的时间区间有重叠,则无法保存。仅在“重复”模式中生效。 “default”配置组会在所有未定义的时间段内生效。 新增加的配置组属于动态生效的配置项集合,在配置组应用的时间区间内可直接生效。 新增加的配置组可以被删除。最多增加4个动态生效的配置组。 选择任一种“重复策略”,如果结束时间小于开始时间,默认标识为第二天的结束时间。例如“22:00”到“6:00”表示调度时间为当天22点到第二天6点。 若多个配置组的“重复策略”类型不相同,则时间区间可以重叠,且生效的策略优先级从低到高的顺序为“每天”、“每周”、“每月”。例如,有“每月”与“每天”的调度配置组,时间区间分别为4:00到7:00,6:00到8:00,此时以每月的配置组为准。 若多个配置组的“重复策略”类型相同,当日期不相同时,则时间区间可以重叠。例如,有两个“每周”的调度配置组,可以分别指定时间区间为周一和周三的4:00到7:00。 在“服务池配置”修改各服务资源配置,并单击页面空白处完成编辑,然后执行4。 用户可单击“服务池配置”右侧的编辑按钮重新修改参数。如果根据业务需要,在“详细配置”单击编辑按钮,手动更新由系统生成的参数值。 保存配置。 单击“保存”,在“保存配置”窗口勾选“重新启动受影响的服务或实例。”,单击是保存并重启相关服务。 界面提示“操作成功。”,单击“完成”,服务成功启动。
  • 为已有MRS集群创建RDS数据连接 该步骤指导用户为当前已有的MRS集群创建RDS数据连接。 登录MRS控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数。 表1 数据连接 参数 示例 说明 类型 - 选择外部源连接的类型。 RDS服务PostgreSQL数据库:安装了Hive组件的集群支持连接该类型数据库。 RDS服务MySQL数据库:安装了Hive或Ranger组件的集群支持连接该类型数据库。 名称 newtest 数据连接的名称。 数据库实例 - RDS服务数据库实例,该实例需要先在RDS服务创建后在此处引用,且已创建数据库,具体请参考创建并配置RDS实例。单击“查看数据库实例”查看已创建的实例。 数据库 dataname 待连接的数据库的名称。 用户名 datauser 登录待连接的数据库的用户名。 密码 - 登录待连接的数据库的密码。 当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考创建并配置RDS实例操作。 单击“确定”完成创建。
  • 克隆MRS集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。选中一个运行中的集群并单击集群名称,进入集群基本信息页面,在页面右上角单击“克隆”。 克隆已删除的历史集群时: 在左侧导航栏中选择“历史集群”。 选中一个需要克隆的集群,单击对应“操作”列中的“克隆”。或者单击需要克隆的集群名称,进入集群基本信息页面,在页面右上角单击“克隆”。 在弹出的“克隆集群”的窗口中选择需要克隆的配置。 若选择克隆作业,需填写克隆作业数量(最多支持50个,默认10个。) 克隆作业时设置的克隆作业数量不代表最终实际克隆的作业数,部分作业类型暂不支持,会被系统自动过滤。 单击“确定”。 在生成的集群购买页,如保持配置不变,则填写相关密码或密钥后,单击“立即购买”即可克隆集群。 如需修改配置,也可根据实际情况(增删组件、增删节点组等)修改后克隆集群。 所有创建过的节点组,若节点数不为0都将克隆,克隆的节点数以记录的最新/最终节点数为准。 克隆集群时不修改原集群已勾选的组件、不改变集群类型,将按照默认克隆模板克隆原集群节点组和拓扑信息。如增删组件,修改集群类型,将无法使用默认克隆模板,请在系统自动生成的基础信息上进行设置。 以下场景可能导致克隆作业失败。 克隆作业时,参数包含非OBS路径可能会执行失败。 克隆作业时,逗号+空格的格式只能存在参数间,若存在参数中,克隆作业可能执行失败。 在原有参数后继续添加参数,逗号后需要有空格,否则作业可能执行失败。 克隆的作业返回参数不含有fs.obs.access.key、fs.obs.secret.key,若需要fs.obs.access.key、fs.obs.secret.key,需在“服务配置参数”中添加。
  • 克隆MRS集群使用限制 已删除的集群仅支持删除3个月内的集群进行克隆。 克隆包周期集群时默认不自动续费。 磁盘类型为专属分布式存储的集群不允许克隆。 克隆时仅可以修改为更高集群版本,无法克隆创建历史版本集群。 在组件服务配置修改的参数和创建集群时选择的自定义软件配置的参数不会克隆到新集群。 资源池维度的弹性伸缩策略不支持克隆。 克隆集群时克隆作业: 未通过console平台或调用v2新增并执行作业接口提交的作业无法在克隆集群时克隆 DistCp、Flink、SQL类(SparkSQL、HiveSQL等)作业类型无法克隆 克隆的作业只能并行执行,不保证执行顺序 包周期集群不允许克隆集群作业 普通集群支持克隆作业,安全集群不支持克隆作业 集群相关配置是否支持克隆情况参见表1。 表1 MRS集群参数克隆说明 参数 说明 计费模式、版本类型、集群版本、集群类型、组件列表、可用区、企业项目、虚拟私有云、子网、安全组(默认共用克隆集群的)、节点组配置、Kerberos认证、主机名前缀、标签、委托(集群节点默认绑定的委托名称)、日志转储、日志记录 默认克隆 元数据、告警、指标共享、弹性公网IP、补丁、数据盘加密、资源池、自定义配置 不支持克隆 引导操作、弹性伸缩策略、作业 可选克隆
  • 启用系统创建的路由信息步骤 以omm用户登录到主管理节点。 执行以下命令,启用系统创建的路由信息。 cd ${BIGDATA_HOME}/om-server/om/sbin ./autoroute.sh enable Activating Route. Route operation (enable) successful. 执行以下命令,查看运行结果。 如下例,如产生路由表名为“ntp_rt”和“om_rt”的两条路由信息,则操作成功。 ip rule list 0:from all lookup local 32764:from all to 10.10.100.100 lookup ntp_rt #未配置外部NTP时钟源时无此信息 32765:from 192.168.0.117 lookup om_rt 32766:from all lookup main 32767:from all lookup default
  • 禁用系统创建的路由信息步骤 以omm用户登录到集群主管理节点。执行以下命令,禁用系统创建的路由信息。 cd ${BIGDATA_HOME}/om-server/om/sbin ./autoroute.sh disable Deactivating Route. Route operation (disable) successful. 执行以下命令,查看运行结果。 ip rule list 0:from all lookup local 32766:from all lookup main 32767:from all lookup default 执行以下命令,输入root用户密码,切换到root用户下。 su - root 分别执行以下命令,手动创建新的WS浮动IP路由信息。 ip route add WS浮动IP网段号/WS浮动IP子网掩码 scope link src WS浮动IP dev WS浮动IP对应网卡 table om_rt ip route add default via WS浮动IP网关 dev WS浮动IP对应网卡 table om_rt ip rule add from WS浮动IP table om_rt 例如: ip route add 192.168.0.0/255.255.255.0 scope link src 192.168.0.117 dev eth0:ws table om_rt ip route add default via 192.168.0.254 dev eth0:ws table om_rt ip rule add from 192.168.0.117 table om_rt 当前网络的IP地址模式为IPv6时,应执行ip -6 route add命令。 分别执行以下命令,手动创建新的ntp服务路由信息。未配置外部NTP时钟源时,跳过此步骤。 ip route add default via NtpIP网关 dev 本机IP对应网卡 table ntp_rt ip rule add to ntpIP table ntp_rt 本机IP对应网卡是指可与NTP服务器所在网段互通的网卡。 例如: ip route add default via 10.10.100.254 dev eth0 table ntp_rt ip rule add to 10.10.100.100 table ntp_rt 执行以下命令,查看运行结果。 如下例,如产生路由表名为“om_rt”和“ntp_rt”的路由信息,则操作成功。 ip rule list 0:from all lookup local 32764:from all to 10.10.100.100 lookup ntp_rt #未配置外部NTP时钟源时无此信息 32765:from 192.168.0.117 lookup om_rt 32766:from all lookup main 32767:from all lookup default
  • 通过管理控制台配置租户队列 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“租户管理”。 单击“队列配置”页签。 在租户队列表格,指定租户队列的“操作”列,单击“修改”。 在“租户管理”页签左侧租户列表,单击目标的租户,切换到“资源”页签,单击也能打开修改队列配置页面。 一个队列只能绑定一个非default资源池。 MRS 2.x及之前版本: 表1 队列配置参数 参数名 示例 描述 最大应用数量 10 表示最大应用程序数量。 AM最大资源百分比 10 表示集群中可用于运行Application Master的最大资源占比。 用户资源最小上限百分比 (%) 25 表示用户使用的最小资源上限百分比。 任何时刻,一个队列中每个用户可使用的资源量均有一定的限制。当一个队列中同时运行多个用户的应用程序时,每个用户的使用资源量在一个最小值和最大值之间浮动,其中,最小值取决于正在运行的应用程序数目,而最大值则由此参数决定。 比如,假设此参数的值设置为25。当两个用户向该队列提交应用程序时,每个用户可使用资源量不能超过50%,如果三个用户提交应用程序,则每个用户可使用资源量不能超过33%,如果四个或者更多用户提交应用程序,则每个用户可用资源量不能超过25%。 用户资源上限因子 10 表示用户使用的最大资源限制因子,与当前租户在集群中实际资源百分比相乘,可计算出用户使用的最大资源百分比。 状态 - 表示资源计划当前的状态。 默认资源池 default 表示队列使用的资源池。默认为“default”,如果需要修改为其他资源,需要先配置队列容量,请参见配置资源池的队列容量策略。 MRS 3.x及之后版本: 表2 队列配置参数 参数名 示例 描述 AM最多占有资源(%) 10 表示当前队列内所有Application Master所占的最大资源百分比。 每个YARN容器最多分配核数 -1 表示当前队列内单个YARN容器可分配的最多核数,默认为-1,表示取值范围内不限制。 每个YARN容器最大分配内存(MB) -1 表示当前队列内单个YARN容器可分配的最大内存,默认为-1,表示取值范围内不限制。 最多运行任务数 -1 表示当前队列最多同时可执行任务的数目,默认为-1,表示取值范围内不限制(为空意义相同),为0表示不可执行任务。 每个用户最多运行任务数 -1 表示每个用户在当前队列中最多同时可执行任务的数目,默认为-1,表示取值范围内不限制(为空意义相同),为0表示不可执行任务。 最多挂起任务数 -1 表示当前队列最多同时可挂起任务的数目,默认为-1,表示取值范围内不限制(为空意义相同),为0表示不可挂起任务。 资源分配规则 FIFO 表示单个用户任务间的资源分配规则,包括FIFO和FAIR。 一个用户若在当前队列上提交了多个任务,FIFO规则代表一个任务完成后再执行其他任务,按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 - 表示在指定资源标签(Label)的节点上执行任务。 说明: 如果需要使用新的资源池,需要修改默认标签为新的资源池标签。 跨资源池调度 - 表示当前队列内Container是否支持跨资源池调度。(仅MRS 3.3.0及之后版本支持配置该参数) default队列不支持开启跨资源池调度。 AM跨资源池调度 - 表示当前队列内Application Master是否支持跨资源池调度。(仅MRS 3.3.0及之后版本支持配置该参数) default队列不支持开启AM跨资源池调度。 Active状态 ACTIVE ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务,若提交任务,任务将处于挂起状态。 Open状态 OPEN OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态,若提交任务,任务直接会被拒绝。