MAPREDUCE服务 MRS-快速创建和使用Hadoop离线数据分析集群:步骤三:准备Hadoop应用程序运行数据

时间:2024-07-18 16:55:42

步骤三:准备Hadoop应用程序运行数据

MRS 集群创建成功后,可获取集群客户端内预置的wordcount样例程序进行运行,也可准备自行开发的大数据应用程序并上传至集群。

本指南以运行MRS集群客户端内的wordcount样例程序为例进行介绍,需先准备wordcount样例程序运行所需的数据文件。

  1. root用户登录Master1节点。
  2. 准备数据文件。

    例如文件名为“wordcount1.txt”和“wordcount2.txt”,内容如下所示:

    vi /opt/wordcount1.txt

    hello word
    hello wordcount

    vi /opt/wordcount2.txt

    hello mapreduce
    hello hadoop

  3. 执行以下命令切换到客户端安装目录,配置环境变量并创建用于存放样例数据的HDFS目录,例如“/user/example/input”。

    cd /opt/client

    source bigdata_env

    hdfs dfs -mkdir /user/example/input

  4. 执行以下命令,将样例数据上传至HDFS。

    hdfs dfs -put /opt/wordcount1.txt /user/example/input

    hdfs dfs -put /opt/wordcount2.txt /user/example/input

support.huaweicloud.com/qs-mrs/mrs_09_0001.html