数据湖探索 DLI-使用Hive语法创建OBS表:参数说明

时间:2024-07-01 21:07:49

参数说明

表2 参数说明

参数

是否必选

描述

db_name

Database名称。

由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。

table_name

Database中的表名。

由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。匹配规则为:^(?!_)(?![0-9]+$)[A-Za-z0-9_$]*$。

特殊字符需要使用单引号('')包围起来。

表名对大小写不敏感,即不区分大小写。

col_name

列字段名称。

列字段由字母、数字和下划线(_)组成。不能是纯数字,且至少包含一个字母。

列名为大小写不敏感,即不区分大小写。

col_type

列字段的数据类型。数据类型为原生类型。

请参考原生数据类型

col_comment

列字段描述。仅支持字符串常量。

row_format

行数据格式。row_format功能只支持textfile类型的表。

file_format

OBS表存储格式,支持TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET

table_comment

表描述。仅支持字符串常量。

obs_path

数据文件所在的OBS存储路径,推荐使用OBS并行文件系统存储。

格式:obs://bucketName/tblPath

bucketName即桶名称。

tblPath是目录名称。目录后不需要指定文件名。

当OBS的目录下文件夹与文件同名时,创建OBS表指向的路径会优先指向文件而非文件夹。

key = value

设置TBLPROPERTIES具体属性和值。

例如开启 DLI 数据多版本时,可以设置"dli.multi.version.enable"="true"来开启该功能。

select_statement

用于CTAS命令,将源表的select查询结果或某条数据插入到新创建的OBS表中。

support.huaweicloud.com/sqlref-spark-dli/dli_08_0077.html