数据湖探索 DLI-DLI对接LakeFormation:约束限制

时间:2025-01-26 10:47:50

约束限制

  • 表1中提供了支持对接LakeFormation获取元数据的队列和引擎类型。
    查看队列的引擎类型和版本请参考查看队列的基本信息
    表1 LakeFormation获取元数据的队列和引擎类型

    队列类型

    引擎类型和支持的版本

    default队列

    • Spark 3.3.x:支持对接LakeFormation获取元数据的队列和引擎。
    • HetuEngine 2.1.0:支持对接LakeFormation获取元数据的队列和引擎。

    SQL队列

    • Spark 3.3.x:支持对接LakeFormation获取元数据的队列和引擎。
    • HetuEngine 2.1.0:支持对接LakeFormation获取元数据的队列和引擎。

    通用队列

    Flink作业场景:Flink 1.15及以上版本且使用弹性资源池队列时支持对接LakeFormation获取元数据。

  • DLI 仅支持对接LakeFormation默认实例,请在LakeFormation设置实例为默认实例。
  • DLI支持读取Lakeformation的中Avro、Json、Parquet、Csv、Orc、Text、Hudi格式的数据。
  • LakeFormation数据目录中的库、表权限统一由LakeFormation管理。
  • DLI支持对接LakeFormation后,DLI原始库表下移至dli的数据目录下。
support.huaweicloud.com/usermanual-dli/dli_01_0629.html