数据湖探索 DLI-在Spark SQL作业中使用UDAF:开发流程

时间:2024-11-15 15:04:42

开发流程

DLI 下UDAF函数开发流程参考如下:

图1 UDAF开发流程
表2 开发流程说明

序号

阶段

操作界面

说明

1

新建Maven工程,配置pom文件

IntelliJ IDEA

参考操作步骤说明,编写UDAF函数代码。

2

编写UDAF函数代码

3

调试,编译代码并导出Jar包

4

上传Jar包到OBS

OBS控制台

将生成的UDAF函数Jar包文件上传到OBS目录下。

5

创建DLI程序包

DLI控制台

选择刚上传到OBS的UDAF函数的Jar文件,由DLI进行纳管。

6

创建DLI的UDAF函数

DLI控制台

在DLI控制台的SQL作业管理界面创建使用的UDAF函数。

7

验证和使用DLI的UDAF函数

DLI控制台

在DLI作业中使用创建的UDAF函数。

support.huaweicloud.com/devg-dli/dli_05_0062.html