MAPREDUCE服务 MRS-MRS集群磁盘如何分区的？

时间：2024-08-01 09:41:09

MAPREDUCE服务 MRS 节点管理类

MRS 集群磁盘如何分区的？

MRS集群即发即用，不需用户自行规划磁盘分区。集群节点创建成功后，节点的操作系统磁盘分区说明如表1所示。

表1 MRS集群节点OS盘分区说明
分区类型	分区目录	容量	用途
OS分区	/	220GB	操作系统根分区目录和程序存放目录，包括了所有目录（除去下面指定的目录）。
	/tmp	10GB	临时文件存放目录。
	/var	10GB	操作系统运行目录。
	/var/log	OS盘剩余空间都分配给“/var/log”分区	日志存放目录。
	/srv/BigData	60GB	作为 FusionInsight Manager的数据目录，存放ldapData、Manager、metric_agent等数据，同时为组件数据目录提供挂载点。

MRS集群节点创建成功后，节点的非操作系统磁盘会挂载至“/srv/BigData/dataN”目录，例如节点有4块数据盘，则磁盘挂载目录为“/srv/BigData/data1”、“/srv/BigData/data2”、“/srv/BigData/data3”、“/srv/BigData/data4”。

节点上所部署的各组件元数据目录和数据目录按照一定映射规则分配到不同的磁盘分区目录下，各组件数据目录说明可参考表2。

表2 MRS集群节点非操作系统盘分区说明
分区类型	磁盘分区挂载目录	数据目录	用途
元数据分区	/srv/BigData/data1	dbdata_om	OMS 的数据库数据目录，如果安装双机Manager，两个OMS节点均包含此分区目录。
		LocalBackup	备份集群数据时，如果选择备份在“LocalDir”，则默认存储在该路径下。如果安装双机Manager，两个节点包含此分区目录。
		containers	WebContainer角色所在节点，存放Container BLU应用的war包和配置集。
		doris/fe	存放Doris数据库元数据。
	/srv/BigData/data2	journalnode	HDFS JournalNode角色所在节点，存放HDFS的JournalNode元数据。
		dbdata_service	DBService DBServer角色所在节点，DBService服务数据库目录。
		iotdb/iotdbserver	IoTDB系统元数据存储路径。
		iotdb/confignode	存放IoTDB ConfigNode角色元数据。
	/srv/BigData/data3	namenode	HDFS NameNode角色所在节点，存放NameNode数据。
	/srv/BigData/data3	iotdb/iotdbserver	IoTDBServer日志数据存储路径。
	/srv/BigData/data4	zookeeper	ZooKeeper quorumpeer角色所在节点，存放ZooKeeper数据。
	/srv/BigData/data4	hetuengine/qas	HetuEngine QAS角色所在节点，存放QAS数据。
业务数据分区	/srv/BigData/dataN	dn nm	存放DataNode数据以及MapReduce任务中间数据。
		kafka-logs	存放Kafka Broker数据。
		clickhouse clickhouse_path	存放ClickHouse数据库数据。 clickhouse_path目录存放ClickHouse元数据信息，只在“data1”目录下存在。
		iotdb/iotdbserver	存放IoTDB服务的业务数据。
		doris/be	存放Doris数据库数据。

元数据分区目录最多使用4块磁盘（data1~data4），各元数据目录根据表2依次映射到“/srv/BigData/data1”~“/srv/BigData/data4”目录下。如果当前节点只挂载了3块数据盘，则data4与data2下的目录合并。如果只挂载了2块数据盘，则data3与data1下的目录合并，data4与data2下的目录合并。
例如，ZooKeeper节点上有4块数据盘，则ZooKeeper的数据目录为“/srv/BigData/data4/zookeeper”，当节点只有3块数据盘时，ZooKeeper的数据目录为“/srv/BigData/data2/zookeeper”。
业务数据目录映射规则规则如下：
对于HDFS、KafKa、ClickHouse、IoTDB组件，根据当前节点磁盘挂载数量自动识别符合“/srv/BigData/dataN”的挂载点作为数据目录。

例如当前“/srv/BigData/data1”~“/srv/BigData/data3”目录挂载了磁盘，则DataNode的数据目录为“/srv/BigData/data1/dn”、“/srv/BigData/data2/dn”、“/srv/BigData/data3/dn”，Kafka的数据目录为“/srv/BigData/data1/kafka-logs”、“/srv/BigData/data2/kafka-logs”、“/srv/BigData/data3/kafka-logs”。