数据湖探索 DLI-使用Spark作业访问DLI元数据:约束限制

时间:2024-11-16 13:16:39

约束限制

  • 如果使用Spark 3.1访问元数据,则必须新建队列。
  • 不支持的场景:
    • 在SQL作业中创建了数据库(database),编写程序代码指定在该数据库下创建表。

      例如在 DLI 的SQL编辑器中的某SQL队列下,创建了数据库testdb。后续通过编写程序代码在testdb下创建表testTable,编译打包后提交的Spark Jar作业则会运行失败。

  • 支持的场景
    • 在SQL作业中创建数据库(database),表(table) , 通过SQL或Spark程序作业读取插入数据。
    • 在Spark程序作业中创建数据库(database),表(table), 通过SQL或Spark程序作业读取插入数据。
support.huaweicloud.com/devg-dli/dli_09_0176.html