MAPREDUCE服务 MRS-使用Jupyter Notebook对接MRS Spark:步骤2：安装Python3
下载MAPREDUCE服务 MRS用户手册完整版
步骤2：安装Python3
- 使用root用户，登录集群外客户端节点，执行如下命令，检查是否安装了Python3。
python3 --version
本案例仅适用于集群外客户端节点安装Python3。
- 安装Python，此处以Python 3.6.6为例。
- 执行如下命令，安装相关依赖：
yum install zlib zlib-devel zip -y
yum install gcc-c++
yum install openssl-devel
yum install sqlite-devel -y
如果pandas库需要额外安装如下依赖：
yum install -y xz-devel
yum install bzip2-devel
- 下载对应Python版本源码。
wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz
- 执行如下命令，解压python源码压缩包，例如下载在“opt”目录下。
tar -xvf Python-3.6.6.tgz
- 创建Python的安装目录，此处以“/opt/python36”为例。
- 编译Python。
./configure --prefix=/opt/python36
执行成功，显示结果如下：
执行make -j8命令，执行成功，显示结果如下：
执行make install命令，执行成功，显示结果如下：
- 执行如下命令，配置Python环境变量。
export PYTHON_HOME=/opt/python36
export PATH=$PYTHON_HOME/bin:$PATH
- 执行python3 --version命令，显示结果如下，表示Python已经安装完成。
Python 3.6.6
- 执行如下命令，安装相关依赖：
- 验证Python3。
pip3 install helloword
python3
import helloworld
helloworld.say_hello("test")
- 测试安装第三方Python库（如pandas、sklearn）。
pip3 install pandas
pip3 install backports.lzma
pip3 install sklearn
- 执行命令python3 -m pip list，查看安装结果。
- 打包Python.zip
cd /opt/python36/
zip -r python36.zip ./*
- 上传到HDFS指定目录。
hdfs dfs -mkdir /user/python
hdfs dfs -put python36.zip /user/python
- 配置 MRS 客户端。
进入Spark客户端安装目录“/opt/client/Spark2x/spark/conf”，在“spark-defaults.conf”配置文件如下参数。
spark.pyspark.driver.python=/usr/bin/python3 spark.yarn.dist.archives=hdfs://hacluster/user/python/python36.zip#Python
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是Hue_如何使用Hue
- ModelArts开发环境_开发环境简介_开发环境怎么使用
- MapReduce服务_什么是Flume_如何使用Flume
- MapReduce服务_什么是Loader_如何使用Loader
- 华为云资料 2021年 4月刊
- MapReduce服务_什么是Hive_如何使用Hive
- 什么是Spark_如何使用Spark_Spark的功能是什么
