MAPREDUCE服务 MRS-MRS集群部署方案说明:MRS集群服务角色部署规则说明

时间：2024-08-18 05:11:16

MAPREDUCE服务 MRS

MRS 集群服务角色部署规则说明

MRS系统由多种服务按照一定的逻辑架构组合而成，每个服务包含一个或多个角色，每个角色可以部署一个或多个实例。

服务：服务对外表现为集群提供的组件业务能力，集群中的每个组件对应一个服务名，提供一种服务。
角色：角色是服务的组成要素，每个服务由一个或多个角色组成，服务通过角色安装到节点（即服务器）上，保证服务正常运行。
实例：当一个服务的角色安装到节点上，即形成一个实例。每个服务有各自对应的角色实例。

A依赖于B（服务级）：若集群中部署A服务，需要提前部署B服务，B为A提供基础能力。
A关联于B（服务级）：A服务与B服务在业务进行中会产生数据交互，不存在部署上的依赖关系。
A与B共机部署（角色级）：若集群中部署A角色，需要同时部署B角色，且A与B需要部署在相同的节点上。

表2 MRS集群角色部署规则
服务名称	依赖关系	角色名称	角色业务部署建议
OMS Server	-	OMSServer	部署在Master节点上，不支持修改。
ClickHouse	依赖ZooKeeper	CHS（ClickHouseServer）	所有节点均可部署。角色实例部署数量范围：2~256，必须为偶数个。
ClickHouse	依赖ZooKeeper	CLB（ClickHouseBalancer）	所有节点均可部署。角色实例部署数量范围：2~256。
Flink	依赖ZooKeeper 依赖KrbServer 依赖DBService 依赖Hadoop	FR(FlinkResource)	所有节点均可部署。角色实例部署数量范围：1~10000。
Flink	依赖ZooKeeper 依赖KrbServer 依赖DBService 依赖Hadoop	FS(FlinkServer)	所有节点均可部署。角色实例部署数量范围：0~2。
Flume	-	MS(MonitorServer)	只能部署在Master节点上。角色实例部署数量范围：1~2。
Flume	-	F(Flume)	所有节点均可部署。角色实例部署数量范围：1~10000。
Hadoop	依赖ZooKeeper	NN(NameNode)	只能部署在Master节点上。角色实例部署数量范围：2。
		HFS（HttpFS）	只能部署在Master节点上。角色实例部署数量范围：0~10。
		JN(JournalNode)	只能部署在Master节点上。角色实例部署数量范围：3~60，步长为2。
		DN(DataNode)	所有节点均可部署。角色实例部署数量范围：3~10000。
		RM(ResourceManager)	只能部署在Master节点上。角色实例部署数量范围：2。
		NM(NodeManager)	所有节点均可部署。角色实例部署数量范围：3~10000。
		JHS(JobHistoryServer)	只能部署在Master节点上。角色实例部署数量范围：1~2。
		TLS(TimelineServer)	只能部署在Master节点上。角色实例部署数量范围：0~1。
HBase	依赖Hadoop	HM(HMaster)	只能部署在Master节点上。角色实例部署数量范围：2。
		TS(ThriftServer)	所有节点均可部署。角色实例部署数量范围：0~10000。
		RT(RESTServer)	所有节点均可部署。角色实例部署数量范围：0~10000。
		RS(RegionServer)	所有节点均可部署。角色实例部署数量范围：3~10000。
		TS1(Thrift1Server)	所有节点均可部署。角色实例部署数量范围：0~10000。若集群安装了Hue服务并且需要在Hue WebUI使用HBase，HBase服务需安装此实例。
HetuEngine	依赖Hadoop 依赖DBService 依赖Hive 依赖ZooKeeper 依赖KrbServer 依赖Yarn 依赖HDFS	HSB(HSBroker)	所有节点均可部署。角色实例部署数量范围：2~50。
		HSC(HSConsole)	所有节点均可部署。角色实例部署数量范围：2。
		HSF(HSFabric)	所有节点均可部署。角色实例部署数量范围：0~50。
		QAS（仅适用于MRS 3.2.0-LTS.1及以后版本）	所有节点均可部署。角色实例部署数量范围：0~2。
Hive	依赖Hadoop 依赖DBService	MS(MetaStore)	只能部署在Master节点上。角色实例部署数量范围：2~10。
		WH（WebHCat）	只能部署在Master节点上。角色实例部署数量范围：1~10。
		HS(HiveServer)	只能部署在Master节点上。角色实例部署数量范围：2~80。
Hue	依赖DBService	H(Hue)	只能部署在Master节点上。角色实例部署数量范围：2。
Impala	依赖Hadoop 依赖Hive 依赖DBService 依赖ZooKeeper	StateStore	只能部署在Master节点上。角色实例部署数量范围：1。
		Catalog	只能部署在Master节点上。角色实例部署数量范围：1。
		Impalad	所有节点均可部署。角色实例部署数量范围：1~10000。
IoTDB	依赖KrbServer	CN（ConfigNode）	只能部署在Master节点上。角色实例部署数量范围：3~9，步长为2。
IoTDB	依赖KrbServer	IoTDBS（IoTDBServer）	所有节点均可部署。角色实例部署数量范围：3~256。
Kafka	依赖ZooKeeper	B(Broker)	所有节点均可部署。角色实例部署数量范围：3~10000。
Kudu	-	KuduMaster	只能部署在Master节点上。角色实例部署数量范围：3或者5。
Kudu	-	KuduTserver	所有节点均可部署。角色实例部署数量范围：3~10000。
Loader	依赖Hadoop 依赖DBService	LS(LoaderServer)	只能部署在Master节点上。角色实例部署数量范围：2。
Oozie	依赖Hadoop 依赖DBService 依赖ZooKeeper	O(oozie)	只能部署在Master节点上。角色实例部署数量范围：2。
Presto	依赖Hive	PCD(Coordinator)	只能部署在Master节点上。角色实例部署数量范围：2。
Presto	依赖Hive	PWK(Worker)	所有节点均可部署。角色实例部署数量范围：1~10000。
Ranger	依赖DBService	RA(RangerAdmin)	只能部署在Master节点上。角色实例部署数量范围：1~2。
		USC(UserSync)	只能部署在Master节点上。角色实例部署数量范围：1。
		TSC（TagSync）	所有节点均可部署。角色实例部署数量范围：0~1。
Spark	依赖Hadoop 依赖Hive 依赖ZooKeeper	JS(JD BCS erver)	只能部署在Master节点上。角色实例部署数量范围：1~2。
		JH(JobHistory)	只能部署在Master节点上。角色实例部署数量范围：1~2。
		SR(SparkResource)	只能部署在Master节点上。角色实例部署数量范围：1~2。
Spark2x	依赖Hadoop 依赖Hive 依赖ZooKeeper	JS2X(JDB CS erver2x)	只能部署在Master节点上。角色实例部署数量范围：2~10。
		JH2X(JobHistory2x)	只能部署在Master节点上。角色实例部署数量范围：2。
		SR2X(SparkResource2x)	只能部署在Master节点上。角色实例部署数量范围：2~50。
		IS2X(IndexServer2x)	（可选）只能部署在Master节点上。角色实例部署数量范围：0~2，步长为2。
Sqoop	依赖Hadoop	SC(SqoopClient)	所有节点均可部署。角色实例部署数量范围：1~10000。
Tez	依赖Hadoop 依赖DBService 依赖ZooKeeper	TUI(TezUI)	只能部署在Master节点上。角色实例部署数量范围：1~2。
ZooKeeper	-	QP(quorumpeer)	只能部署在Master节点上。角色实例部署数量范围：3~9，步长为2。