数据湖探索 DLI-在Spark SQL作业中使用UDAF:开发流程
开发流程
DLI 下UDAF函数开发流程参考如下:
序号 |
阶段 |
操作界面 |
说明 |
---|---|---|---|
1 |
新建Maven工程,配置pom文件 |
IntelliJ IDEA |
参考操作步骤说明,编写UDAF函数代码。 |
2 |
编写UDAF函数代码 |
||
3 |
调试,编译代码并导出Jar包 |
||
4 |
上传Jar包到OBS |
OBS控制台 |
将生成的UDAF函数Jar包文件上传到OBS目录下。 |
5 |
创建DLI程序包 |
DLI控制台 |
选择刚上传到OBS的UDAF函数的Jar文件,由DLI进行纳管。 |
6 |
创建DLI的UDAF函数 |
DLI控制台 |
在DLI控制台的SQL作业管理界面创建使用的UDAF函数。 |
7 |
验证和使用DLI的UDAF函数 |
DLI控制台 |
在DLI作业中使用创建的UDAF函数。 |
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- 什么是Flink OpenSource SQL_数据湖探索_Flink OpenSource SQL
- 什么是跨源连接-数据湖探索DLI跨源连接
- 数据治理中心_数据开发_数据开发示例_使用教程-华为云
- 什么是Spark_如何使用Spark_Spark的功能是什么
- 华为云内容审核服务_内容审核有什么作用_华为云内容审核的优势
- 数据治理中心_数据开发_数据开发能力_脚本和节点介绍-华为云
- 大数据应用范围有哪些_大数据技术与应用要学习什么课程
- 数据治理中心_数据质量评估_质量规则和质量报告-华为云