管理MRS集群组件-华为云

MAPREDUCE服务 MRS-修改MRS角色实例参数:通过管理控制台修改实例参数

通过管理控制台修改实例参数登录 MRS 管理控制台，单击待操作的集群名称。在集群详情页，单击“组件管理”。单击服务列表中指定的服务名称。单击“实例”页签。单击角色实例列表中指定的角色实例名称。单击“实例配置”页签。将页面右侧“基础配置”切换为“全部配置”，界面上将显示该角色实例的全部配置参数导航树。在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。修改某个参数的值后需要取消修改，可以单击恢复。单击“保存配置”，根据界面提示保存配置。

MAPREDUCE服务 MRS 管理MRS集群组件

MAPREDUCE服务 MRS-添加删除MRS集群组件:前提条件

前提条件需要在 IAM 用户所属的用户组中，设置用户组的权限。由于在集群上添加服务和删除服务属于高危操作，因此需要给该用户组绑定MRS FullAccess、MRS Administrator、Server Administrator 、Tenant Guest和MRS Administrator或Tenant Administrator任意一个策略才可以执行。具体权限说明请参见IAM用户同步MRS集群说明。如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。

MAPREDUCE服务 MRS 管理MRS集群组件

MAPREDUCE服务 MRS-重启MRS集群组件:使用限制

使用限制请在低业务负载时间段进行滚动重启操作。在滚动重启Kafka服务时，如果Kafka服务业务吞吐量很高（100MB/s以上的情况下），会出现Kafka服务滚动重启失败的情况。在滚动重启HBase服务时候，如果原生界面上每个RegionServer上每秒的请求数超过10000，需要增大handle数来预防重启过程中负载过大导致的RegionServer重启失败。重启前需要观察当前HBase的负载请求数（原生界面上每个RegionServer的请求数如果超过10000，需要增大handle数来预防超出负载）。在集群Core节点个数小于6个的情况下，可能会出现业务短时间受影响的情况。请优先使用滚动重启操作来重启实例或服务，并勾选“仅重启配置过期的实例”。

MAPREDUCE服务 MRS 管理MRS集群组件

MAPREDUCE服务 MRS-重启MRS集群组件:组件重启参考信息

组件重启参考信息当前MRS集群中，服务和实例是否支持滚动重启如表2所示。表2 服务和实例是否支持滚动重启服务实例是否支持滚动重启 Alluxio AlluxioJobMaster 是 AlluxioMaster ClickHouse ClickHouseServer 是 ClickHouseBalancer CDL CDLConnector 是 CDLService Flink FlinkResource 否 FlinkServer Flume Flume 是 MonitorServer Guardian TokenServer 是 HBase HMaster 是 RegionServer ThriftServer RESTServer HetuEngine HSBroker 是 HSConsole HSFabric QAS HDFS NameNode 是 Zkfc JournalNode HttpFS DataNode Hive MetaStore 是 WebHCat HiveServer Hue Hue 否 Impala Impalad 否 StateStore Catalog IoTDB IoTDBServer 是 Kafka Broker 是 KafkaUI 否 Kudu KuduTserver 是 KuduMaster Loader Sqoop 否 Mapreduce JobHistoryServer 是 Oozie oozie 否 Presto Coordinator 是 Worker Ranger RangerAdmin 是 UserSync TagSync Spark JobHistory 是 JD BCS erver SparkResource Storm Nimbus 是 UI Supervisor Logviewer Tez TezUI 否 Yarn ResourceManager 是 NodeManager ZooKeeper Quorumpeer 是实例启动时长如表3所示：表3 重启时长参考服务名称重启时长启动时长附加说明 IoTDB 3min IoTDBServer：3min - CDL 2min CDLConnector：1min CDLService：1min - ClickHouse 4min ClickHouseServer：2min ClickHouseBalancer：2min - HDFS 10min+x NameNode：4min+x DataNode：2min JournalNode：2min Zkfc：2min x为NameNode元数据加载时长，每千万文件大约耗时2分钟，例如5000万文件x为10分钟。由于受DataNode数据块上报影响启动时间有一定浮动。 Yarn 5min+x ResourceManager：3min+x NodeManager：2min x为ResourceManager保留任务数恢复时长，每1万保留任务大约需要1分钟。 Mapreduce 2min+x JobHistoryServer：2min+x x为历史任务扫描时长，每10万任务大约2.5分钟。 ZooKeeper 2min+x quorumpeer：2min+x x为加载znode节点时长，每100万znode大约1分钟。 Hive 3.5min HiveServer：3min MetaStore：1min30s WebHcat：1min Hive整体服务：3min - Spark2x 5min JobHistory2x：5min SparkResource2x：5min JDB CS erver2x：5min - Flink 4min FlinkResource：1min FlinkServer：3min - Kafka 2min+x Broker：1min+x KafkaUI：5 min x为数据恢复时长，单实例20000 partition启动所需时长大约2分钟。 Storm 6min Nimbus：3mins UI：1min Supervisor：1min Logviewer：1min - Flume 3min Flume：2 min MonitorServer：1min - Doris 2分钟 FE：1min BE：1min DBroker：1min -

MAPREDUCE服务 MRS 管理MRS集群组件

MAPREDUCE服务 MRS-添加MRS组件自定义参数:通过管理控制台添加自定义参数

通过管理控制台添加自定义参数登录MRS管理控制台。选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。在集群详情页，单击“组件管理”。单击服务列表中指定的服务名称。单击“服务配置”。将页面右侧“基础配置”切换为“全部配置”。图1 全部配置在左侧导航栏定位到某个一级节点，并选择“自定义”，MRS将显示当前组件的自定义参数。自定义参数支持服务级别与角色级别，请根据业务实际需要选择。不支持单个角色实例添加自定义参数。 “参数文件”显示保存用户新添加的自定义参数的配置文件。每个配置文件中可能支持相同名称的开源参数，设置不同参数值后生效结果由组件加载配置文件的顺序决定。根据配置文件与参数作用，在对应参数项所在行“参数”列输入组件支持的参数名，在“值”列输入此参数的参数值。支持单击或，增加或删除一条自定义参数。第一次单击添加自定义参数后才支持删除操作。修改某个参数的值后需要取消修改，可以单击恢复。单击“保存配置”，根据界面提示保存配置。

MAPREDUCE服务 MRS 管理MRS集群组件

云服务器内容精选

管理MRS集群组件

7*24

备案

专业服务

退订

建议反馈

售前咨询热线