数据湖探索 DLI-使用Spark Jar作业读取和查询OBS数据:开发流程
开发流程
序号 |
阶段 |
操作界面 |
说明 |
---|---|---|---|
1 |
创建DLI通用队列 |
DLI控制台 |
创建作业运行的DLI队列。 |
2 |
上传数据到OBS桶 |
OBS控制台 |
将测试数据上传到OBS桶下。 |
3 |
新建Maven工程,配置pom文件 |
IntelliJ IDEA |
参考样例代码说明,编写程序代码读取OBS数据。 |
4 |
编写程序代码 |
||
5 |
调试,编译代码并导出Jar包 |
||
6 |
上传Jar包到OBS和DLI |
OBS控制台 DLI控制台 |
将生成的Spark Jar包文件上传到OBS目录下和DLI程序包中。 |
7 |
创建Spark Jar作业 |
DLI控制台 |
在DLI控制台创建Spark Jar作业并提交运行作业。 |
8 |
查看作业运行结果 |
DLI控制台 |
查看作业运行状态和作业运行日志。 |
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- 什么是Flink OpenSource SQL_数据湖探索_Flink OpenSource SQL
- 数据治理中心_数据开发_数据开发示例_使用教程-华为云
- 什么是跨源连接-数据湖探索DLI跨源连接
- 什么是Spark_如何使用Spark_Spark的功能是什么
- 数据治理中心_数据开发_数据开发能力_脚本和节点介绍-华为云
- 图像识别Image服务_什么是图像识别_图像识别应用场景
- 华为云内容审核服务_内容审核有什么作用_华为云内容审核的优势
- 什么是弹性资源池_数据湖探索DLI弹性资源池