MAPREDUCE服务 MRS-快速创建和使用Hadoop离线数据分析集群:步骤三:准备应用程序及数据
步骤三:准备应用程序及数据
MRS 集群创建成功后,可获取集群客户端内预置的wordcount样例程序进行运行,也可准备自行开发的大数据应用程序并上传至集群。
本指南以运行MRS集群客户端内的wordcount样例程序为例进行介绍,需先准备wordcount样例程序运行所需的数据文件。
- 以root用户登录Master1节点。
- 准备数据文件。
例如文件名为“wordcount1.txt”和“wordcount2.txt”,内容如下所示:
vi /opt/wordcount1.txt
hello word hello wordcount
vi /opt/wordcount2.txt
hello mapreduce hello hadoop
- 执行以下命令切换到客户端安装目录,配置环境变量并创建用于存放样例数据的HDFS目录,例如“/user/example/input”。
cd /opt/client
source bigdata_env
hdfs dfs -mkdir /user/example/input
- 执行以下命令,将样例数据上传至HDFS。
hdfs dfs -put /opt/wordcount1.txt /user/example/input
hdfs dfs -put /opt/wordcount2.txt /user/example/input
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- 大数据分析是什么_使用MapReduce_创建MRS服务
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MRS优势_什么是MRS_MRS功能
- 数据备份归档在哪里_数据分析存储系统_大数据存储管理
- MapReduce服务_什么是Hive_如何使用Hive
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_什么是Hue_如何使用Hue