华为云首页用户手册

数据湖探索 DLI-使用Livy提交Spark Jar作业:通过DLI Livy工具提交Spark作业到DLI

时间：2025-02-12 15:00:52

数据湖探索 DLI 使用客户端工具连接DLI

通过 DLI Livy工具提交Spark作业到DLI

本示例演示通过curl命令使用DLI Livy工具将Spark作业提交到DLI。

将开发好的Spark作业程序jar包上传到OBS路径下。

例如，本示例上传“spark-examples_2.11-XXXX.jar”到“obs://bucket/path”路径下。
以root用户登录到安装DLI Livy工具的E CS 服务器。

执行curl命令通过DLI Livy工具提交Spark作业请求到DLI。

ECS_IP为当前安装DLI Livy工具所在的弹性云服务器的私有IP地址。

curl --location --request POST 'http://ECS_IP:8998/batches' \--header 'Content-Type: application/json' \--data '{    "driverMemory": "3G",    "driverCores": 1,    "executorMemory": "2G",    "executorCores": 1,    "numExecutors": 1,    "args": [        "1000"    ],    "file": "obs://bucket/path/spark-examples_2.11-XXXX.jar",    "className": "org.apache.spark.examples.SparkPi",    "conf": {        "spark.dynamicAllocation.minExecutors": 1,        "spark.executor.instances": 1,        "spark.dynamicAllocation.initialExecutors": 1,        "spark.dynamicAllocation.maxExecutors": 2    }}'

上一篇：数据湖探索 DLI-使用Livy提交Spark Jar作业:修改DLI Livy工具配置文件

下一篇：数据湖探索 DLI-使用Livy提交Spark Jar作业:修改DLI Livy工具配置文件