数据湖探索 DLI-Spark Jar 使用DEW获取访问凭证读写OBS:语法格式

时间：2025-02-12 15:00:52

数据湖探索 DLI

语法格式

在Spark Jar作业编辑界面，选择配置优化参数，配置信息如下:

不同的OBS桶，使用不同的AKSK认证信息。可以使用如下配置方式，根据桶指定不同的AKSK信息，参数说明详见表1。

spark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access.key= USER_AK_ CS MS_KEYspark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.secret.key= USER_SK_C SMS _KEYspark.hadoop.fs.obs.security.provider = com.dli.provider.UserObsBasicCredentialProviderspark.hadoop.fs.dew.csms.secretName= CredentialNamespark.hadoop.fs.dew.endpoint=ENDPOINTspark.hadoop.fs.dew.csms.version=VERSION_IDspark.hadoop.fs.dew.csms.cache.time.second =CACHE_TIMEspark.dli.job.agency.name=USER_AGENCY_NAME