数据湖探索 DLI-文件系统输出流(推荐）:关键字

时间：2024-11-08 09:33:26

数据湖探索 DLI 创建输出流

关键字

表1 关键字说明
参数	是否必选	说明
type	是	输出流类型。“type”为“filesystem”，表示输出数据到文件系统。
file.path	是	输出目录，格式为: schema://file.path。当前schame只支持obs和hdfs。当schema为obs时，表示输出到对象存储服务 OBS。当schema为hdfs时，表示输出到HDFS。HDFS需要配置代理用户，具体请参考HDFS代理用户配置。示例：hdfs://node-master1sYAx:9820/user/car_infos，其中node-master1sYAx:9820为 MRS 集群NameNode所在节点信息。
encode	是	输出数据编码格式，当前支持“parquet”格式和“csv”格式。当schema为obs时，输出数据编码格式仅支持“parquet”格式。当schema为hdfs时，输出数据编码格式支持“parquet”格式和“csv”格式。
ak	否	输出到OBS时该参数必填。用于访问OBS认证的accessKey，可使用全局变量，屏蔽敏感信息。关于全局变量在控制台上的使用方法，请参考《数据湖探索用户指南》。
sk	否	输出到OBS时该参数必填。用于访问OBS认证的secretKey，可使用全局变量，屏蔽敏感信息。关于全局变量在控制台上的使用方法，请参考《数据湖探索用户指南》。
krb_auth	否	创建跨源认证的认证名。开启kerberos认证时，需配置该参数。如果创建的MRS集群未开启kerb认证的集群，请确保在 DLI 队列host文件中添加MRS集群master节点的“/etc/hosts”信息。
field_delimiter	否	属性分隔符。当编码格式为“csv”时，需要设置属性分隔符，用户可以自定义，如：“,”。