华为云首页用户手册

数据湖探索 DLI-使用Livy提交Spark Jar作业:DLI Livy工具下载及安装

数据湖探索 DLI-使用Livy提交Spark Jar作业:DLI Livy工具下载及安装

时间：2024-08-28 09:05:15

数据湖探索 DLI Spark Jar作业开发指南

DLI Livy工具下载及安装

本次操作下载的DLI Livy版本为apache-livy-0.7.2.0107-bin.tar.gz，后续版本变化请根据实际情况修改。

单击下载链接，获取DLI Livy工具压缩包。
使用WinSCP工具，将获取的工具压缩包上传到准备好的E CS 服务器目录下。
使用root用户登录ECS服务器，执行以下命令安装DLI Livy工具。
1. 执行以下命令创建工具安装路径。
  mkdir livy安装路径
  
  例如新建路径/opt/livy：mkdir /opt/livy。后续操作步骤均默认以/opt/livy安装路径演示，请根据实际情况修改。
2. 解压工具压缩包到安装路径。
  tar --extract --file apache-livy-0.7.2.0107-bin.tar.gz --directory /opt/livy --strip-components 1 --no-same-owner
3. 执行以下命令修改配置文件名称。
  cd /opt/livy/conf
  
  mv livy-client.conf.template livy-client.conf
  
  mv livy.conf.template livy.conf
  
  mv livy-env.sh.template livy-env.sh
  
  mv log4j.properties.template log4j.properties
  
  mv spark-blacklist.conf.template spark-blacklist.conf
  
  touch spark-defaults.conf

上一篇：数据湖探索 DLI-使用Livy提交Spark Jar作业:准备工作

下一篇：数据湖探索 DLI-使用Livy提交Spark Jar作业:准备工作

数据湖探索 DLI-使用Livy提交Spark Jar作业:DLI Livy工具下载及安装

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题