数据湖探索 DLI-Flink Jar 使用DEW获取访问凭证读写OBS:参数说明
下载数据湖探索 DLI用户手册完整版
参数说明
|
参数 |
是否必选 |
默认值 |
数据类型 |
参数说明 |
|---|---|---|---|---|
|
flink.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access.key |
是 |
无 |
String |
USER_BUCKET_NAME为用户的桶名，需要进行替换为用户的使用的OBS桶名。 参数的值为用户定义在 CS MS通用凭证中的键key， 其Key对应的value为用户的AK（Access Key Id），需要具备访问OBS对应桶的权限。 |
|
flink.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.secret.key |
是 |
无 |
String |
USER_BUCKET_NAME为用户的桶名，需要进行替换为用户的使用的OBS桶名。 参数的值为用户定义在C SMS 通用凭证中的键key， 其Key对应的value为用户的SK（Secret Access Key），需要具备访问OBS对应桶的权限。 |
|
flink.hadoop.fs.obs.security.provider |
是 |
无 |
String |
OBS AKSK认证机制，使用DEW服务中的CSMS凭证管理，获取OBS的AK、SK。 默认取值为com.dli.provider.UserObsBasicCredentialProvider |
|
flink.hadoop.fs.dew.endpoint |
是 |
无 |
String |
指定要使用的DEW服务所在的endpoint信息。 获取地区和终端节点。 配置示例：flink.hadoop.fs.dew.endpoint=kms.cn-xxxx.myhuaweicloud.com |
|
flink.hadoop.fs.dew.projectId |
否 |
有 |
String |
DEW所在的项目ID， 默认是Flink作业所在的项目ID。 |
|
flink.hadoop.fs.dew.csms.secretName |
是 |
无 |
String |
在DEW服务的凭据管理中新建的通用凭据的名称。 配置示例：flink.hadoop.fs.dew.csms.secretName=secretInfo |
|
flink.hadoop.fs.dew.csms.version |
否 |
最新的version |
String |
在DEW服务的凭据管理中新建的通用凭据的版本号(凭据的版本标识符)。 若不指定，则默认获取该通用凭证的最新版本号。 配置示例：flink.hadoop.fs.dew.csms.version=v1 |
|
flink.hadoop.fs.dew.csms.cache.time.second |
否 |
3600 |
Long |
Flink作业访问获取CSMS通用凭证后，缓存的时间。 单位为秒。默认值为3600秒。 |
|
flink.dli.job.agency.name |
是 |
- |
String |
自定义委托名称。 |
