华为云首页用户手册

MAPREDUCE服务 MRS-使用Jupyter Notebook对接MRS Spark:步骤2：安装Python3

时间：2024-06-13 09:39:15

MAPREDUCE服务 MRS 生态组件对接

步骤2：安装Python3

使用root用户，登录集群外客户端节点，执行如下命令，检查是否安装了Python3。
python3 --version
- 是，执行8。
- 否，执行2。
本案例仅适用于集群外客户端节点安装Python3。
安装Python，此处以Python 3.6.6为例。
1. 执行如下命令，安装相关依赖：
  yum install zlib zlib-devel zip -y
  
  yum install gcc-c++
  
  yum install openssl-devel
  
  yum install sqlite-devel -y
  
  如果pandas库需要额外安装如下依赖：
  
  yum install -y xz-devel
  
  yum install bzip2-devel
2. 下载对应Python版本源码。
  wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz
3. 执行如下命令，解压python源码压缩包，例如下载在“opt”目录下。
  cd /opt
  
  tar -xvf Python-3.6.6.tgz
4. 创建Python的安装目录，此处以“/opt/python36”为例。
  mkdir /opt/python36
5. 编译Python。
  cd /opt/python-3.6.6
  
  ./configure --prefix=/opt/python36
  
  执行成功，显示结果如下：
  
  执行make -j8命令，执行成功，显示结果如下：
  
  执行make install命令，执行成功，显示结果如下：
6. 执行如下命令，配置Python环境变量。
  export PYTHON_HOME=/opt/python36
  
  export PATH=$PYTHON_HOME/bin:$PATH
7. 执行python3 --version命令，显示结果如下，表示Python已经安装完成。
```
Python 3.6.6
```
验证Python3。
pip3 install helloword

python3

import helloworld

helloworld.say_hello("test")
测试安装第三方Python库（如pandas、sklearn）。
pip3 install pandas

pip3 install backports.lzma

pip3 install sklearn
执行命令python3 -m pip list，查看安装结果。
打包Python.zip
cd /opt/python36/

zip -r python36.zip ./*
上传到HDFS指定目录。
hdfs dfs -mkdir /user/python

hdfs dfs -put python36.zip /user/python
配置 MRS 客户端。
进入Spark客户端安装目录“/opt/client/Spark2x/spark/conf”，在“spark-defaults.conf”配置文件如下参数。
```
spark.pyspark.driver.python=/usr/bin/python3
spark.yarn.dist.archives=hdfs://hacluster/user/python/python36.zip#Python
```