数据湖探索 DLI-FileSytem结果表:参数说明

时间：2024-07-01 21:07:18

数据湖探索 DLI

表1 参数说明
参数	是否必选	说明
connector.type	是	固定为filesystem。
connector.file-path	是	数据输出目录，格式为: schema://file.path。说明：当前schame只支持obs和hdfs。当schema为obs时，表示输出到对象存储服务 OBS。注意，OBS必须是并行文件系统，不能是OBS桶。示例：obs://bucketName/fileName，表示数据输出到obs的bucketName桶下的fileName目录中。当schema为hdfs时，表示输出到HDFS。示例：hdfs://node-master1sYAx:9820/user/car_infos，其中node-master1sYAx:9820为 MRS 集群NameNode所在节点信息。
format.type	是	输出数据编码格式，当前支持“parquet”格式和“csv”格式。当schema为obs时，输出数据编码格式仅支持“parquet”格式。当schema为hdfs时，输出数据编码格式支持“parquet”格式和“csv”格式。
format.field-delimiter	否	属性分隔符。当编码格式为“csv”时，需要设置属性分隔符，用户可以自定义，默认为“,”。
connector.ak	否	用于访问obs的accessKey 当写入obs时必须填写该字段。
connector.sk	否	用于访问obs的secretKey 当写入obs时必须填写该字段。
connector.partitioned-by	否	分区字段，多个字段以“,”分隔