MAPREDUCE服务 MRS-Spark REST API接口介绍:准备运行环境

时间:2024-06-19 14:14:16

准备运行环境

安装客户端。在节点上安装客户端,如安装到“/opt/client”目录。

  1. 确认服务端Spark组件已经安装,并正常运行。
  2. 客户端运行环境已安装1.7或1.8版本的JDK。
  3. 获取并解压缩安装包“ MRS _Spark_Client.tar”。执行如下命令解压。

    tar -xvf MRS_Spark_Client.tar

    tar -xvf MRS_Spark_ClientConfig.tar

    由于不兼容老版本客户端,建议用户获取与服务端集群相同版本的客户端安装包进行安装部署。

  4. 进入解压文件夹,即“MRS_Spark_ClientConfig”,执行下列命令安装客户端

    sh install.sh /opt/client

    其中“/opt/client”为用户自定义路径,此处仅为举例。

  5. 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。

    source bigdata_env

support.huaweicloud.com/devg-mrs/mrs_06_0241.html