数据湖探索 DLI-Spark Jar 使用DEW获取访问凭证读写OBS:样例代码

时间：2024-12-05 10:45:41

数据湖探索 DLI

样例代码

本章节JAVA样例代码演示将DataGen数据处理后写入到OBS，具体参数配置请根据实际环境修改。

创建 DLI 访问DEW的委托并完成委托授权。
详细步骤请参考自定义DLI委托权限。
在DEW创建通用凭证。详细操作请参考创建通用凭据。
1. 登录DEW管理控制台
2. 选择“凭据管理”，进入“凭据管理”页面。
3. 单击“创建凭据”。配置凭据基本信息

DLI Spark jar作业编辑界面设置作业参数。

Spark参数：

spark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access.key= USER_AK_ CS MS_KEY
spark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.secret.key= USER_SK_C SMS _KEY
spark.hadoop.fs.obs.security.provider=com.dli.provider.UserObsBasicCredentialProvider
spark.hadoop.fs.dew.csms.secretName=obsAkSk
spark.hadoop.fs.dew.endpoint=kmsendpoint
spark.hadoop.fs.dew.csms.version=v3
spark.dli.job.agency.name=agency