云服务器内容精选

Spark作业委托场景开发指导

数据湖探索 DLI-获取Spark作业委托临时凭证用于访问其他云服务:约束限制

约束限制仅支持Spark3.3.1版本（Spark通用队列场景）使用委托授权访问临时凭证：在创建作业时，请配置作业使用Spark3.3.1版本已在作业中配置允许 DLI 访问DEW的委托信息。spark.dli.job.agency.name=自定义委托名称。自定义委托请参考自定义DLI委托权限。请注意配置参数不需要用"" 或 '' 包裹。 Spark3.3.1基础镜像内置了3.1.62版本的huaweicloud-sdk-core。

数据湖探索 DLI Spark作业委托场景开发指导
数据湖探索 DLI-获取Spark作业委托临时凭证用于访问其他云服务:功能描述

功能描述 DLI提供了一个通用接口，可用于获取用户在启动Spark作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。获取到的委托的临时认证封装到com.huaweicloud.sdk.core.auth.ICredentialProvider接口的getCredentials()返回值中。返回类型为com.huaweicloud.sdk.core.auth.BasicCredentials。仅支持获取AK、SK、SecurityToken。获取到AK、SK、SecurityToken后，请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。

数据湖探索 DLI Spark作业委托场景开发指导