SQL作业开发指南-华为云

数据湖探索 DLI-在DataArts Studio开发DLI SQL作业:常见问题

常见问题如果 DataArts 作业失败，且 DataArts 提供的日志不够详细，怎么办？还能从哪里找更具体的日志？您可以可通过 DataArts 的日志找到 DLI job id，然后根据 DLI job id 在DLI控制台中找到具体的作业。在DLI控制台中找到具体的作业，单击归档日志即可查看详细日志：可以通过 DataArts 的 nodename 或 jobname 在DLI 控制台搜索作业：如果在运行复杂DLI作业时遇到权限类报错，应该怎么办？使用DLI的过程中需要与其他云服务协同工作，因此需要您将部分服务的操作权限委托给DLI服务，确保DLI具备基本使用的权限，让DLI服务以您的身份使用其他云服务，代替您进行一些资源运维工作。了解更多：配置DLI云服务委托权限

数据湖探索 DLI SQL作业开发指南

数据湖探索 DLI-在DataArts Studio开发DLI SQL作业:开发流程

开发流程图1 在 DataArts Studio 开发DLI SQL作业的流程图环境准备：准备执行作业所需的DLI资源和DataArts Studio资源。请参考环境准备。创建数据库和表：提交SQL脚本创建数据库和表。请参考步骤1：创建数据库和表。导入业务数据：提交SQL脚本导入业务数据。请参考步骤2：业务数据的计算与处理。数据查询与分析：提交SQL脚本分析业务数据，例如查询单日销售情况。请参考步骤3：销售情况的查询与分析。作用编排：将数据处理和数据分析脚本编排成一个pipeline。DataArt会按照编排好的pipeline顺序执行各个节点。请参考步骤4：作业编排。测试作业运行：测试作业运行。请参考步骤5：测试作业运行。设置作业调度与监控：设置作业调度属性与监控规则。请参考步骤6：设置作业周期调度和相关操作。

数据湖探索 DLI SQL作业开发指南

数据湖探索 DLI-在DataArts Studio开发DLI SQL作业:环境准备

环境准备 DLI资源环境准备配置DLI作业桶使用DLI服务前需配置DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。具体操作请参考：配置DLI作业桶。创建弹性资源池并添加SQL队列弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存），用于灵活应对业务对计算资源变化的需求。创建弹性资源池后，您可以在弹性资源池中创建多个队列，队列关联到具体的作业和数据处理任务，是资源池中资源被实际使用和分配的基本单元，即队列是执行作业所需的具体的计算资源。同一弹性资源池中，队列之间的计算资源支持共享。通过合理设置队列的计算资源分配策略，可以提高计算资源利用率。具体操作请参考：创建弹性资源池并添加队列。 DataArts Studio资源环境准备购买DataArts Studio实例在使用DataArts Studio提交DLI作业前，需要先购买DataArts Studio实例。具体操作请参考购买DataArts Studio基础包。进入DataArts Studio实例空间购买完成DataArts Studio实例后，单击“进入控制台”。图2 进入DataArts Studio实例控制台单击“空间管理”，进入数据开发页面。购买DataArts Studio实例的用户，系统将默认为其创建一个默认的工作空间“default”，并赋予该用户为管理员角色。您可以使用默认的工作空间，也可以参考本章节的内容创建一个新的工作空间。如需创建新的空间请参考创建并管理工作空间。图3 进入DataArts Studio实例空间图4 进入DataArts Studio数据开发页面

数据湖探索 DLI SQL作业开发指南

数据湖探索 DLI-在DataArts Studio开发DLI SQL作业:步骤4：作业编排

步骤4：作业编排在作业 “job_process_data”中新建一个DLI SQL节点 "select_analyze_data"。并单击节点编辑属性。 SQL或脚本：本例选择“SQL脚本”。并选择1中创建的脚本。数据库名称：选择SQL脚本中设置的数据库。队列名称：选择步骤▪创建弹性资源池并添加SQL队列中创建的SQL队列。更多属性参数配置请参考DLI SQL属性参数说明。图15 编辑DLI SQL节点属性属性编辑完成后，单击“保存”，保存属性配置信息。将这两个节点编排成一个pipeline。DataArt会按照编排好的pipeline顺序执行各个节点。然后单击左上角 “保存” 和 “提交”。

数据湖探索 DLI SQL作业开发指南

数据湖探索 DLI-在Spark SQL作业中使用UDAF:环境准备

环境准备在进行UDAF开发前，请准备以下开发环境。表1 UDAF开发环境准备项说明操作系统 Windows系统，支持Windows7以上版本。安装JDK JDK使用1.8版本（访问Java官网）。安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具，版本要求使用2019.1或其2019.1往后的版本。安装Maven 开发环境的基本配置（下载并安装 Maven）。用于项目管理，贯穿软件开发生命周期。

数据湖探索 DLI SQL作业开发指南

数据湖探索 DLI-在Spark SQL作业中使用UDAF:开发流程

开发流程 DLI下UDAF函数开发流程参考如下：图1 UDAF开发流程表2 开发流程说明序号阶段操作界面说明 1 新建Maven工程，配置pom文件 IntelliJ IDEA 参考操作步骤说明，编写UDAF函数代码。 2 编写UDAF函数代码 3 调试，编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台将生成的UDAF函数Jar包文件上传到OBS目录下。 5 创建DLI程序包 DLI控制台选择刚上传到OBS的UDAF函数的Jar文件，由DLI进行纳管。 6 创建DLI的UDAF函数 DLI控制台在DLI控制台的SQL作业管理界面创建使用的UDAF函数。 7 验证和使用DLI的UDAF函数 DLI控制台在DLI作业中使用创建的UDAF函数。

数据湖探索 DLI SQL作业开发指南

云服务器内容精选

SQL作业开发指南

7*24

备案

专业服务

退订

建议反馈

售前咨询热线