数据湖探索 DLI-管理SQL作业:在SQL作业列表页面查看作业的基本信息

时间:2024-11-14 11:04:47

在SQL作业列表页面查看作业的基本信息

DLI SQL作业管理页面显示所有SQL作业,作业数量较多时,系统分页显示,可根据需要跳转至指定页面。您可以查看任何状态下的作业。作业列表默认按创建时间降序排列。

表1 作业管理参数

参数

参数说明

队列

作业所属队列的名称。

执行引擎

SQL作业支持spark和Trino两种引擎。

  • spark:显示执行引擎为“spark”的作业。
  • trino:显示执行引擎为“trino”的作业。

用户名

执行该作业的用户名。

类型

作业的类型,包括如下。

  • IMPORT:导入数据到DLI的作业。
  • EXPORT:从DLI导出数据的作业。
  • DCL:包括传统DCL,以及队列权限相关的操作。
  • DDL:与传统DDL操作一致,即创建和删除数据库,创建和删除表的作业。
  • QUERY:执行SQL查询数据的作业。
  • INSERT:执行SQL插入数据的作业。
  • UPDATE:更新数据。
  • DELETE:删除SQL作业。
  • DATA_MIGRATION:数据迁移。
  • RESTART_QUEUE:重启队列。
  • SCALE_QUEUE: 队列规格变更(扩容/缩容)。

状态

作业的状态信息,包括如下。

  • 提交中
  • 运行中
  • 已成功
  • 已取消
  • 已失败
  • 规格变更中

执行语句

作业的具体SQL语句以及导出、建表的操作,此处展示操作的描述。

单击可复制对应的语句。

运行时长

作业的运行时长。

创建时间

每个作业的创建时间,可按创建时间顺序或倒序显示作业列表。

操作

  • 编辑:重新编辑修改该作业。
  • 终止:
    • 当作业状态在“提交中”“运行中”时,“终止”按钮才生效。
    • 当作业状态为“已成功”“已失败”“已取消”的作业不能终止。
    • “终止”按钮为灰色时,表示无法执行终止操作。
  • 重新执行:重新执行该作业。
  • SparkUI:单击后,将跳转至Spark任务运行情况界面。
    说明:
    • 新建队列,运行作业时会重新拉集群,大概需要10分钟左右才能拉好集群,在集群创建好之前单击SparkUI会导致缓存空的projectID,从而导致无法查看SparkUI。建议使用专属队列,集群不会被释放,就不会有该问题,或者提交作业后等一段时间再查看SparkUI,确保集群已经拉好了,不要立即单击SparkUI。
    • 目前DLI配置SparkUI只展示最新的100条作业信息。
  • QUERY作业和异步DDL作业除上述操作外,还包括:
    • 下载到本地:异步DDL和QUERY语句支持将结果下载到本地。具体操作请见导出作业结果到本地
    • 查看结果:查看作业运行结果。
    • 导出结果:将作业运行结果导出至用户创建的OBS桶中。
  • EXPORT作业除上述操作外,还包括:
    • 立即下载
  • 归档日志:将作业日志保存到系统创建的DLI临时OBS数据桶中。
说明:

default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。

support.huaweicloud.com/usermanual-dli/dli_01_0017.html