数据湖探索 DLI-Spark Jar 使用DEW获取访问凭证读写OBS:参数说明

时间：2024-07-30 13:38:15

参数说明

表1 参数说明
参数	是否必选	默认值	数据类型	参数说明
spark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access.key	是	无	String	其中USER_BUCKET_NAME为用户的桶名，需要进行替换为用户的使用的OBS桶名。参数的值为用户定义在 CS MS通用凭证中的键key，其Key对应的value为用户的AK（Access Key Id），需要具备访问OBS对应桶的权限。
spark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.secret.key	是	无	String	其中USER_BUCKET_NAME为用户的桶名，需要进行替换为用户的使用的OBS桶名。参数的值为用户定义在C SMS 通用凭证中的键key，其Key对应的value为用户的SK（Secret Access Key），需要具备访问OBS对应桶的权限。
spark.hadoop.fs.obs.security.provider	是	无	String	OBS AKSK认证机制，使用DEW服务中的CSMS凭证管理，获取OBS的AK、SK。默认取值为com.dli.provider.UserObsBasicCredentialProvider
spark.hadoop.fs.dew.csms.secretName	是	无	String	在DEW服务的凭据管理中新建的通用凭据的名称。配置示例：spark.hadoop.fs.dew.csms.secretName=secretInfo
spark.hadoop.fs.dew.endpoint	是	无	String	指定要使用的DEW服务所在的endpoint信息。获取地区和终端节点。配置示例：spark.hadoop.fs.dew.endpoint=kms.cn-xxxx.myhuaweicloud.com
spark.hadoop.fs.dew.csms.version	否	最新的version	String	在DEW服务的凭据管理中新建的通用凭据的版本号(凭据的版本标识符)。若不指定，则默认获取该通用凭证的最新版本号。配置示例： spark.hadoop.fs.dew.csms.version=v1
spark.hadoop.fs.dew.csms.cache.time.second	否	3600	Long	Spark作业访问获取CSMS通用凭证后，缓存的时间。单位为秒。默认值为3600秒。
spark.hadoop.fs.dew.projectId	否	有	String	DEW所在的项目ID，默认是Spark作业所在的项目ID。获取项目ID
spark.dli.job.agency.name	是	-	String	自定义委托名称。