MAPREDUCE服务 MRS-重启MRS集群组件:组件重启参考信息
组件重启参考信息
当前 MRS 集群中,服务和实例是否支持滚动重启如表2所示。
服务 |
实例 |
是否支持滚动重启 |
---|---|---|
Alluxio |
AlluxioJobMaster |
是 |
AlluxioMaster |
||
ClickHouse |
ClickHouseServer |
是 |
ClickHouseBalancer |
||
CDL |
CDLConnector |
是 |
CDLService |
||
Flink |
FlinkResource |
否 |
FlinkServer |
||
Flume |
Flume |
是 |
MonitorServer |
||
Guardian |
TokenServer |
是 |
HBase |
HMaster |
是 |
RegionServer |
||
ThriftServer |
||
RESTServer |
||
HetuEngine |
HSBroker |
是 |
HSConsole |
||
HSFabric |
||
QAS |
||
HDFS |
NameNode |
是 |
Zkfc |
||
JournalNode |
||
HttpFS |
||
DataNode |
||
Hive |
MetaStore |
是 |
WebHCat |
||
HiveServer |
||
Hue |
Hue |
否 |
Impala |
Impalad |
否 |
StateStore |
||
Catalog |
||
IoTDB |
IoTDBServer |
是 |
Kafka |
Broker |
是 |
KafkaUI |
否 |
|
Kudu |
KuduTserver |
是 |
KuduMaster |
||
Loader |
Sqoop |
否 |
Mapreduce |
JobHistoryServer |
是 |
Oozie |
oozie |
否 |
Presto |
Coordinator |
是 |
Worker |
||
Ranger |
RangerAdmin |
是 |
UserSync |
||
TagSync |
||
Spark |
JobHistory |
是 |
JD BCS erver |
||
SparkResource |
||
Storm |
Nimbus |
是 |
UI |
||
Supervisor |
||
Logviewer |
||
Tez |
TezUI |
否 |
Yarn |
ResourceManager |
是 |
NodeManager |
||
ZooKeeper |
Quorumpeer |
是 |
实例启动时长如表3所示:
服务名称 |
重启时长 |
启动时长 |
附加说明 |
---|---|---|---|
IoTDB |
3min |
IoTDBServer:3min |
- |
CDL |
2min |
|
- |
ClickHouse |
4min |
|
- |
HDFS |
10min+x |
|
x为NameNode元数据加载时长,每千万文件大约耗时2分钟,例如5000万文件x为10分钟。 由于受DataNode数据块上报影响启动时间有一定浮动。 |
Yarn |
5min+x |
|
x为ResourceManager保留任务数恢复时长,每1万保留任务大约需要1分钟。 |
Mapreduce |
2min+x |
JobHistoryServer:2min+x |
x为历史任务扫描时长,每10万任务大约2.5分钟。 |
ZooKeeper |
2min+x |
quorumpeer:2min+x |
x为加载znode节点时长,每100万znode大约1分钟。 |
Hive |
3.5min |
|
- |
Spark2x |
5min |
|
- |
Flink |
4min |
|
- |
Kafka |
2min+x |
|
x为数据恢复时长,单实例20000 partition启动所需时长大约2分钟。 |
Storm |
6min |
|
- |
Flume |
3min |
|
- |
Doris |
2分钟 |
|
- |
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是Yarn_如何使用Yarn
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_什么是Hive_如何使用Hive
- MapReduce服务_什么是Hue_如何使用Hue