数据湖探索 DLI-Spark2.4.x与Spark3.3.x版本在SQL队列的差异对比:describe function返回结果不同

时间:2024-12-28 16:25:09

describe function返回结果不同

  • 说明:

    如果function不存在,describe function会执行失败。

    • Spark2.4.x:DESCRIBE函数仍然可以运行并打印“Function:func_name not found”
    • Spark3.3.x:函数不存在的提示信息变更为失败。
  • 升级引擎版本后是否对作业有影响:

    有影响,describe function 相关API的返回信息不同。

  • 示例代码

    执行sql:

    describe function dli_no(dli_no不存在)
    • Spark2.4.5

      执行成功,function_desc内容:

      Function:func_name not found
    • Spark3.3.1
      执行失败, DLI .0005:
      Undefined function: dli_no……
support.huaweicloud.com/bulletin-dli/dli_bulletin_0015.html