数据湖探索 DLI-使用DataSource语法创建DLI表:参数说明

时间:2024-11-11 14:10:59

参数说明

表1 参数描述

参数

是否必选

描述

db_name

Database名称。

由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。

table_name

Database中的表名。

由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。匹配规则为:^(?!_)(?![0-9]+$)[A-Za-z0-9_$]*$。

特殊字符需要使用单引号('')包围起来。

表名对大小写不敏感,即不区分大小写。

col_name

以逗号分隔的带数据类型的列名。

列名由字母、数字和下划线(_)组成。不能是纯数字,且至少包含一个字母。

列名为大小写不敏感,即不区分大小写。

col_type

列字段的数据类型。数据类型为原生类型。

请参考原生数据类型

col_comment

列字段描述。仅支持字符串常量。

file_format

DLI 表数据存储格式,支持:parquet和orc格式。

table_comment

表描述。仅支持字符串常量。

select_statement

用于CTAS命令,将源表的select查询结果或某条数据插入到新创建的DLI表中。

表2 OPTIONS参数描述

参数

是否必选

描述

默认值

multiLevelDirEnable

是否迭代查询子目录中的数据。当配置为true时,查询该表时会迭代读取该表路径中所有文件,包含子目录中的文件。

false

compression

指定压缩格式。一般为parquet格式时指定该参数,推荐使用'zstd'压缩格式。

-

support.huaweicloud.com/sqlref-spark-dli/dli_08_0098.html