云服务器内容精选

华为云首页用户手册

节点管理类

MAPREDUCE服务 MRS-MRS集群磁盘如何分区的？

MRS 集群磁盘如何分区的？ MRS集群即发即用，不需用户自行规划磁盘分区。集群节点创建成功后，节点的操作系统磁盘分区说明如表1所示。表1 MRS集群节点OS盘分区说明分区类型分区目录容量用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录，包括了所有目录（除去下面指定的目录）。 /tmp 10GB 临时文件存放目录。 /var 10GB 操作系统运行目录。 /var/log OS盘剩余空间都分配给“/var/log”分区日志存放目录。 /srv/BigData 60GB 作为 FusionInsight Manager的数据目录，存放ldapData、Manager、metric_agent等数据，同时为组件数据目录提供挂载点。 MRS集群节点创建成功后，节点的非操作系统磁盘会挂载至“/srv/BigData/dataN”目录，例如节点有4块数据盘，则磁盘挂载目录为“/srv/BigData/data1”、“/srv/BigData/data2”、“/srv/BigData/data3”、“/srv/BigData/data4”。节点上所部署的各组件元数据目录和数据目录按照一定映射规则分配到不同的磁盘分区目录下，各组件数据目录说明可参考表2。表2 MRS集群节点非操作系统盘分区说明分区类型磁盘分区挂载目录数据目录用途元数据分区 /srv/BigData/data1 dbdata_om OMS 的数据库数据目录，如果安装双机Manager，两个OMS节点均包含此分区目录。 LocalBackup 备份集群数据时，如果选择备份在“LocalDir”，则默认存储在该路径下。如果安装双机Manager，两个节点包含此分区目录。 containers WebContainer角色所在节点，存放Container BLU应用的war包和配置集。 doris/fe 存放Doris数据库元数据。 /srv/BigData/data2 journalnode HDFS JournalNode角色所在节点，存放HDFS的JournalNode元数据。 dbdata_service DBService DBServer角色所在节点，DBService服务数据库目录。 iotdb/iotdbserver IoTDB系统元数据存储路径。 iotdb/confignode 存放IoTDB ConfigNode角色元数据。 /srv/BigData/data3 namenode HDFS NameNode角色所在节点，存放NameNode数据。 iotdb/iotdbserver IoTDBServer日志数据存储路径。 /srv/BigData/data4 zookeeper ZooKeeper quorumpeer角色所在节点，存放ZooKeeper数据。 hetuengine/qas HetuEngine QAS角色所在节点，存放QAS数据。业务数据分区 /srv/BigData/dataN dn nm 存放DataNode数据以及MapReduce任务中间数据。 kafka-logs 存放Kafka Broker数据。 clickhouse clickhouse_path 存放ClickHouse数据库数据。 clickhouse_path目录存放ClickHouse元数据信息，只在“data1”目录下存在。 iotdb/iotdbserver 存放IoTDB服务的业务数据。 doris/be 存放Doris数据库数据。元数据分区目录最多使用4块磁盘（data1~data4），各元数据目录根据表2依次映射到“/srv/BigData/data1”~“/srv/BigData/data4”目录下。如果当前节点只挂载了3块数据盘，则data4与data2下的目录合并。如果只挂载了2块数据盘，则data3与data1下的目录合并，data4与data2下的目录合并。例如，ZooKeeper节点上有4块数据盘，则ZooKeeper的数据目录为“/srv/BigData/data4/zookeeper”，当节点只有3块数据盘时，ZooKeeper的数据目录为“/srv/BigData/data2/zookeeper”。业务数据目录映射规则规则如下：对于HDFS、KafKa、ClickHouse、IoTDB组件，根据当前节点磁盘挂载数量自动识别符合“/srv/BigData/dataN”的挂载点作为数据目录。例如当前“/srv/BigData/data1”~“/srv/BigData/data3”目录挂载了磁盘，则DataNode的数据目录为“/srv/BigData/data1/dn”、“/srv/BigData/data2/dn”、“/srv/BigData/data3/dn”，Kafka的数据目录为“/srv/BigData/data1/kafka-logs”、“/srv/BigData/data2/kafka-logs”、“/srv/BigData/data3/kafka-logs”。父主题：节点管理类

MAPREDUCE服务 MRS 节点管理类