数据湖探索 DLI-使用Livy提交Spark Jar作业:准备工作

时间:2024-11-15 15:04:43

准备工作

  • 创建 DLI 队列。在“队列类型”中选择“通用队列”,即Spark作业的计算资源。具体请参考创建队列
  • 准备一个linux弹性 云服务器ECS ,用于安装DLI Livy。
    • E CS 需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则
    • ECS需安装Java JDK,JDK版本建议为1.8。配置Java环境变量JAVA_HOME。
    • 查询弹性云服务器ECS详细信息,获取ECS的“私有IP地址”。
  • 使用增强型跨源连接打通DLI队列和Livy实例所在的VPC网络。具体操作可以参考增强型跨源连接

support.huaweicloud.com/devg-dli/dli_09_0201.html