MAPREDUCE服务 MRS-HDFS文件系统目录简介

时间：2024-08-01 19:24:14

MAPREDUCE服务 MRS 使用HDFS

HDFS文件系统目录简介

HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后的添加操作。HDFS保证一个文件在一个时刻只被一个调用者执行写操作，而可以被多个调用者执行读操作。

HDFS文件系统中目录结构如下表所示。

表1 HDFS文件系统目录结构
路径	类型	简略功能	是否可以删除	删除的后果
/tmp/spark2x/sparkhive-scratch	固定目录	存放Spark2x JD BCS erver中metastore session临时文件	否	任务运行失败
/tmp/sparkhive-scratch	固定目录	存放Spark2x cli方式运行metastore session临时文件	否	任务运行失败
/tmp/logs/	固定目录	存放container日志文件	是	container日志不可查看
/tmp/carbon/	固定目录	数据导入过程中，如果存在异常CarbonData数据，则将异常数据放在此目录下	是	错误数据丢失
/tmp/Loader-${作业名}_${MR作业id}	临时目录	存放Loader Hbase bulkload作业的region信息，作业完成后自动删除	否	Loader Hbase Bulkload作业失败
/tmp/hadoop-omm/yarn/system/rmstore	固定目录	ResourceManager运行状态信息	是	ResourceManager重启后状态信息丢失
/tmp/archived	固定目录	MR任务日志在HDFS上的归档路径	是	MR任务日志丢失
/tmp/hadoop-yarn/staging	固定目录	保存AM运行作业运行日志、作业概要信息和作业配置属性	否	任务运行异常
/tmp/hadoop-yarn/staging/history/done_intermediate	固定目录	所有任务运行完成后，临时存放/tmp/hadoop-yarn/staging目录下文件	否	MR任务日志丢失
/tmp/hadoop-yarn/staging/history/done	固定目录	周期性扫描线程定期将done_intermediate的日志文件转移到done目录	否	MR任务日志丢失
/tmp/mr-history	固定目录	存储预加载历史记录文件的路径	否	MR历史任务日志数据丢失
/tmp/hive-scratch	固定目录	Hive运行时生成的临时数据，如会话信息等	否	当前执行的任务会失败
/user/{user}/.sparkStaging	固定目录	存储SparkJDB CS erver应用临时文件	否	executor启动失败
/user/spark2x/jars	固定目录	存放Spark2x executor运行依赖包	否	executor启动失败
/user/loader	固定目录	存放loader的作业脏数据以及HBase作业数据的临时存储目录	否	HBase作业失败或者脏数据丢失
/user/loader/etl_dirty_data_dir
/user/loader/etl_hbase_putlist_tmp
/user/loader/etl_hbase_tmp
/user/oozie	固定目录	存放oozie运行时需要的依赖库，需用户手动上传	否	oozie调度失败
/user/mapred/hadoop-mapreduce-xxx.tar.gz	固定文件	MR分布式缓存功能使用的各jar包	否	MR分布式缓存功能无法使用
/user/hive	固定目录	Hive相关数据存储的默认路径，包含依赖的spark lib包和用户默认表数据存储位置等	否	用户数据丢失
/user/omm-bulkload	临时目录	HBase批量导入工具临时目录	否	HBase批量导入任务失败
/user/hbase	临时目录	HBase批量导入工具临时目录	否	HBase批量导入任务失败
/spark2xJobHistory2x	固定目录	Spark2x eventlog数据存储目录	否	HistoryServer服务不可用，任务运行失败
/flume	固定目录	Flume采集到HDFS文件系统中的数据存储目录	否	Flume工作异常
/mr-history/tmp	固定目录	MapReduce作业产生的日志存放位置	是	日志信息丢失
/mr-history/done	固定目录	MR JobHistory Server管理的日志的存放位置	是	日志信息丢失
/tenant	添加租户时创建	配置租户在HDFS中的存储目录，系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“ta1”，默认HDFS存储目录为“tenant/ta1”。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。	否	租户不可用
/apps{1~5}/	固定目录	WebHCat使用到Hive的包的路径	否	执行WebHCat任务会失败
/hbase	固定目录	HBase数据存储目录	否	HBase用户数据丢失
/hbaseFileStream	固定目录	HFS文件存储目录	否	HFS文件丢失，且无法恢复