数据湖探索 DLI-获取Spark作业委托临时凭证用于访问其他云服务:约束限制

时间:2024-07-23 19:18:02

约束限制

  • 仅支持Spark3.3.1版本(Spark通用队列场景)使用委托授权访问临时凭证:
    • 在创建作业时,请配置作业使用Spark3.3.1版本
    • 已在作业中配置允许 DLI 访问DEW的委托信息。spark.dli.job.agency.name=自定义委托名称

      自定义委托请参考自定义DLI委托权限

      请注意配置参数不需要用"" 或 '' 包裹。

  • Spark3.3.1基础镜像内置了3.1.62版本的huaweicloud-sdk-core。
support.huaweicloud.com/devg-dli/dli_09_0216.html