MAPREDUCE服务 MRS-安装Python3

时间:2024-04-19 11:58:59

安装Python3

本章节仅适用于集群外客户端节点安装Python3。

  1. 使用root用户,登录集群外客户端节点,执行如下命令,检查是否安装了Python3。

    python3 --version

    • 是,执行8
    • 否,执行2

  2. 安装Python,此处以Python 3.6.6为例。

    1. 执行如下命令,安装相关依赖:

      yum install zlib zlib-devel zip -y

      yum install gcc-c++

      yum install openssl-devel

      yum install sqlite-devel -y

      如果pandas库需要额外安装如下依赖:

      yum install -y xz-devel

      yum install bzip2-devel

    2. 下载对应Python版本源码。

      wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz

    3. 执行如下命令,解压python源码压缩包,例如下载在“opt”目录下。

      cd /opt

      tar -xvf Python-3.6.6.tgz

    4. 创建Python的安装目录,此处以“/opt/python36”为例。

      mkdir /opt/python36

    5. 编译Python。

      cd /opt/python-3.6.6

      ./configure --prefix=/opt/python36

      执行成功,显示结果如下:

      执行make -j8命令,执行成功,显示结果如下:

      执行make install命令,执行成功,显示结果如下:

    6. 执行如下命令,配置Python环境变量。

      export PYTHON_HOME=/opt/python36

      export PATH=$PYTHON_HOME/bin:$PATH

    7. 执行python3 --version命令,显示结果如下,表示Python已经安装完成。
      Python 3.6.6

  3. 验证Python3。

    pip3 install helloword

    python3

    import helloworld

    helloworld.say_hello("test")

  4. 测试安装第三方Python库(如pandas、sklearn)。

    pip3 install pandas

    pip3 install backports.lzma

    pip3 install sklearn

  5. 执行命令python3 -m pip list,查看安装结果。

  6. 打包Python.zip

    cd /opt/python36/

    zip -r python36.zip ./*

  7. 上传到HDFS指定目录。

    hdfs dfs -mkdir /user/python

    hdfs dfs -put python36.zip /user/python

  8. 配置 MRS 客户端。

    进入Spark客户端安装目录“/opt/client/Spark2x/spark/conf”,在“spark-defaults.conf”配置文件如下参数。

    spark.pyspark.driver.python=/usr/bin/python3
    spark.yarn.dist.archives=hdfs://hacluster/user/python/python36.zip#Python

support.huaweicloud.com/bestpractice-mrs/mrs_01_24554.html