使用DLI提交SQL作业-华为云

数据湖探索 DLI-查询SQL作业日志:前提条件

前提条件配置前，请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统，并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载。并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。

数据湖探索 DLI 使用DLI提交SQL作业

数据湖探索 DLI-创建并提交SQL作业:使用SQL编辑器创建并提交SQL作业

使用SQL编辑器创建并提交SQL作业登录 DLI 管理控制台，选择“SQL编辑器”页面。进入“SQL编辑器”页面后，系统会提示“创建DLI临时数据桶”，用于存储使用DLI服务产生的临时数据。在“设置DLI作业桶”对话框中，单击“去设置”。在现实页面上单击DLI作业桶卡片右上角单击编辑符号。在弹出的“设置DLI作业桶”对话框，输入作业桶路径，并单击“确定”。在SQL作业编辑窗口右上方的依次选择执行SQL作业所需的队列、数据库等信息，详细参数说明请参考表1。表1 配置SQL作业信息按键&下拉列描述执行引擎 SQL作业支持Spark和Trino两种引擎： Spark引擎适用于离线分析。 Trino引擎适用于交互式分析。队列下拉选择需要使用的队列。如果没有可用队列，此处显示“default”队列，default队列为体验使用，建议重新创建队列。具体队列创建可以参考创建弹性资源池和在弹性资源池中添加队列。 SQL作业只能在队列类型为“SQL队列”下执行。数据目录数据目录（Catalog）是元数据管理对象，它可以包含多个数据库。您可以在DLI中创建并管理多个Catalog，用于不同的元数据隔离。数据库下拉选择需要使用的数据库。如果没有可用数据库，此处显示“default”默认数据库。数据库创建操作详见在DLI控制台创建数据库和表。说明：如果SQL语句中指定了表所在的数据库，则此处选择的数据库无效。设置包括设置“参数设置”和“标签”。参数设置：以“key/value”的形式设置提交SQL作业的配置项。详细内容请参见《数据湖探索 SQL语法参考》。标签：以“key/value”的形式设置SQL作业的标签。创建数据库和表。您可以参考在DLI控制台创建数据库和表提前创建数据库和表。例如本例创建表，表名为“qw”。在SQL作业编辑窗口输入表“qw”的SQL查询语句： 1 SELECT * FROM qw.qw LIMIT 10; 或者双击左侧表名“qw”，上述查询语句会自动在作业编辑窗口中输入。 DLI还为您提供了丰富的SQL模板，每种模板都为您提供了使用场景、代码示例和使用指导。您也可以直接使用SQL作业模板快速实现您的业务逻辑。了解模板更多信息请参考创建SQL作业模板。单击“更多”中的“语法校验”，确认SQL语句书写是否正确。如果语法校验失败，请参考《数据湖探索SQL语法参考》，检查SQL语句准确性。如果语法校验通过，单击“执行”，阅读并同意隐私协议，单击“确定”后执行SQL语句。 SQL语句执行成功后，在SQL作业编辑窗口下方会显示执行结果。查看作业执行结果。在查看结果页签，单击以图形形式呈现查询结果。再单击切换回表格形式。当前控制台界面查询结果最多显示1000条数据，如果需要查看更多或者全量数据，则可以单击将数据导出到OBS获取。如果执行结果中无数值列，则无法进行图形化。图形类型包括柱状图、折线图、扇形图。柱状图和折线图的X轴可为任意一列，Y轴仅支持数值类型的列，扇形图对应图例和指标。

数据湖探索 DLI 使用DLI提交SQL作业

数据湖探索 DLI-创建并提交SQL作业:使用须知

使用须知首次进入SQL编辑器，页面会提示设置DLI作业桶。该桶用于存储使用DLI服务产生的临时数据，例如：作业日志等。如果不创建该桶，将无法查看作业日志。桶名称为系统默认。在OBS管理控制台页面通过配置桶的生命周期规则，可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。具体操作请参考通过配置生命周期规则。 SQL编辑器页面可以批量执行SQL语句。作业编辑窗口常用语法采用不同颜色突出显示。支持单行注释和多行注释。以“--”开头，后续内容即为注释。

数据湖探索 DLI 使用DLI提交SQL作业

云服务器内容精选

使用DLI提交SQL作业

7*24

备案

专业服务

退订

建议反馈

售前咨询热线