华为云首页用户手册

数据湖探索 DLI-使用Livy提交Spark Jar作业:通过DLI Livy工具提交Spark作业到DLI

时间：2024-11-15 15:04:43

数据湖探索 DLI

通过 DLI Livy工具提交Spark作业到DLI

本示例演示通过curl命令使用DLI Livy工具将Spark作业提交到DLI。

将开发好的Spark作业程序jar包上传到OBS路径下。

例如，本示例上传“spark-examples_2.11-XXXX.jar”到“obs://bucket/path”路径下。
以root用户登录到安装DLI Livy工具的E CS 服务器。

执行curl命令通过DLI Livy工具提交Spark作业请求到DLI。

ECS_IP为当前安装DLI Livy工具所在的弹性云服务器的私有IP地址。

curl --location --request POST 'http://ECS_IP:8998/batches' \
--header 'Content-Type: application/json' \
--data '{
    "driverMemory": "3G",
    "driverCores": 1,
    "executorMemory": "2G",
    "executorCores": 1,
    "numExecutors": 1,
    "args": [
        "1000"
    ],
    "file": "obs://bucket/path/spark-examples_2.11-XXXX.jar",
    "className": "org.apache.spark.examples.SparkPi",
    "conf": {
        "spark.dynamicAllocation.minExecutors": 1,
        "spark.executor.instances": 1,
        "spark.dynamicAllocation.initialExecutors": 1,
        "spark.dynamicAllocation.maxExecutors": 2
    }
}'

上一篇：数据湖探索 DLI-在Spark SQL作业中使用UDTF:开发流程

下一篇：数据湖探索 DLI-使用Livy提交Spark Jar作业:修改DLI Livy工具配置文件