MAPREDUCE服务 MRS-Spark SQL样例程序开发思路:数据规划

时间:2024-06-13 09:39:15

数据规划

首先需要把原日志文件放置在HDFS系统里。

  1. 本地新建两个文本文件input_data1.txt和input_data2.txt,将log1.txt中的内容复制保存到input_data1.txt,将log2.txt中的内容复制保存到input_data2.txt。
  2. 在HDFS客户端路径下建立一个文件夹,“/tmp/input”,并上传input_data1.txt,input_data2.txt到此目录,命令如下:
    1. 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。
    2. 进入到HDFS客户端下的“/tmp/input”目录,在Linux系统HDFS客户端使用命令在Linux系统HDFS客户端使用命令hadoop fs -put input_data1.txt /tmp/inputhadoop fs -put input_data2.txt /tmp/input,上传数据文件。
support.huaweicloud.com/devg-lts-mrs/mrs_07_410018.html