创建DLI表-华为云

数据湖探索 DLI-使用Hive语法创建DLI表:示例2：创建DLI分区表

示例2：创建 DLI 分区表示例说明：创建一个名为student的分区表，该分区表使用院系编号（facultyNo）和班级编号（classNo）进行分区，该student表会同时按照不同的院系编号（facultyNo）和不同的班级编号（classNo）分区。在实际的使用过程中，您可以选择合适的分区字段并将其添加到PARTITIONED BY关键字后。 123456789 CREATE TABLE IF NOT EXISTS student( id int, name STRING)STORED AS avroPARTITIONED BY ( facultyNo INT, classNo INT);

数据湖探索 DLI 创建DLI表

数据湖探索 DLI-使用Hive语法创建DLI表:示例5：创建DLI分区表，自定义表的TBLPROPERTIES参数

示例5：创建DLI分区表，自定义表的TBLPROPERTIES参数示例说明：本例创建名为table3并以col_3为分区依据的DLI分区表。在TBLPROPERTIES中配置dli.multi.version.enable、comment、orc.compress和auto.purge。 dli.multi.version.enable：本例配置为true，即代表开启DLI数据多版本功能，用于表数据的备份与恢复。 comment：表描述信息，TBLPROPERTIES内的描述信息支持后续修改。 orc.compress：指定orc存储的压缩方式，本例定义为ZLIB。 auto.purge：本例配置为true，即删除或者覆盖的数据会不经过回收站，直接被删除。 1 2 3 4 5 6 7 8 9101112 CREATE TABLE IF NOT EXISTs table3 ( col_1 STRING, col_2 STRING)PARTITIONED BY (col_3 DATE)STORED AS rcfileTBLPROPERTIES ( dli.multi.version.enable = true, comment = 'Created by dli', orc.compress = 'ZLIB', auto.purge = true);

数据湖探索 DLI 创建DLI表

数据湖探索 DLI-使用Hive语法创建DLI表:示例6：创建textfile格式的非分区表，并设置ROW FORMAT

示例6：创建textfile格式的非分区表，并设置ROW FORMAT 示例说明：本例创建名为table4的textfile类型的非分区表，并设置ROW FORMAT相关格式（ROW FORMAT功能只支持textfile类型的表）。字段（Fields）是表格中的列，每个字段有一个名称和数据类型，表中字段之间以'/'分隔。集合项（COLLECTION ITEMS）指的是一组数据中的元素，可以是数组、列表或集合等，table4中集合项以'$'分隔。映射键（MAP KEYS）是一种键值对的数据结构，用于存储一组相关联的数据，表中Map键以'#'分隔。行（Rows）表格中的行，每一行包含一组字段值，表中行以'\n'结束（注意，只支持用'\n'作为行分隔符）。 NULL表示缺少值或未知值的特殊值。在表格中，NULL表示该字段没有值或该值未知。如果数据中存在null值，则用字符串“null”表示。 1 2 3 4 5 6 7 8 91011 CREATE TABLE IF NOT EXISTS table4 ( col_1 STRING, col_2 INT)STORED AS TEXTFILEROW FORMATDELIMITED FIELDS TERMINATED BY '/'COLLECTION ITEMS TERMINATED BY '$'MAP KEYS TERMINATED BY '#'LINES TERMINATED BY '\n'NULL DEFINED AS 'NULL';

数据湖探索 DLI 创建DLI表

数据湖探索 DLI-使用Hive语法创建DLI表:参数说明

参数说明表1 参数描述参数是否必选描述 db_name 否 Database名称。由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 是 Database中的表名。由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。匹配规则为：^(?!_)(?![0-9]+$)[A-Za-z0-9_$]*$。如果特殊字符需要使用单引号（''）包围起来。 col_name 是列字段名称。列字段由字母、数字和下划线（_）组成。不能是纯数字，且至少包含一个字母。列名为大小写不敏感，即不区分大小写。 col_type 是列字段的数据类型。数据类型为原生类型。请参考原生数据类型。 col_comment 否列字段描述。仅支持字符串常量。 row_format 是行数据格式。row format功能只支持textfile类型的表。 file_format 是 DLI表数据存储格式：支持textfile, avro, orc, sequencefile, rcfile, parquet。 table_comment 否表描述。仅支持字符串常量。 key = value 否设置TBLPROPERTIES具体属性和值。在表存储格式为PARQUET时，可以通过指定TBLPROPERTIES(parquet.compression = 'zstd')来指定表压缩格式为zstd。 select_statement 否用于CTAS命令，将源表的select查询结果或某条数据插入到新创建的DLI表中。

数据湖探索 DLI 创建DLI表

数据湖探索 DLI-使用Hive语法创建DLI表:注意事项

注意事项 CTAS建表语句不能指定表的属性。 Hive DLI表不支持在建表时指定多字符的分隔符。关于分区表的使用说明：创建分区表时，PARTITONED BY中指定分区列必须是不在表中的列，且需要指定数据类型。分区列支持string, boolean, tinyint, smallint, short, int, bigint, long, decimal, float, double, date, timestamp等hive开源支持的类型。支持指定多个分区字段，分区字段只需在PARTITIONED BY关键字后指定，不能像普通字段一样在表名后指定，否则将出错。单表分区数最多允许200000个。 Spark 3.3及以上版本支持使用Hive语法的CTAS语句创建分区表。

数据湖探索 DLI 创建DLI表

数据湖探索 DLI-使用Hive语法创建DLI表:语法格式

语法格式 1 2 3 4 5 6 7 8 910111213141516 CREATE TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name1 col_type1 [COMMENT col_comment1], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name2 col_type2, [COMMENT col_comment2], ...)] [ROW FORMAT row_format] STORED AS file_format [TBLPROPERTIES (key = value)] [AS select_statement];row_format: : SERDE serde_cls [WITH SERDEPROPERTIES (key1=val1, key2=val2, ...)] | DELIMITED [FIELDS TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char] [NULL DEFINED AS char]

数据湖探索 DLI 创建DLI表

数据湖探索 DLI-使用Hive语法创建DLI表:示例1：创建DLI非分区表

示例1：创建DLI非分区表示例说明：创建名为table1的DLI非分区表，并用STORED AS关键字指定该表的存储格式为orc格式。在您的实际使用中，可以将DLI表存储为textfile, avro, orc, sequencefile, rcfile, parquet等类型。 12345 CREATE TABLE IF NOT EXISTS table1 ( col_1 STRING, col_2 INT)STORED AS orc;

数据湖探索 DLI 创建DLI表

数据湖探索 DLI-使用Hive语法创建DLI表:关键字

关键字 IF NOT EXISTS：指定该关键字以避免表已经存在时报错。 COMMENT：字段或表描述。 PARTITIONED BY：指定分区字段。 ROW FORMAT：行数据格式。 STORED AS：指定所存储的文件格式，当前该关键字只支持指定TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET几种格式。创建DLI表时必须指定此关键字。 TBLPROPERTIES：用于为表添加key/value的属性。在表存储格式为PARQUET时，可以通过指定TBLPROPERTIES(parquet.compression = 'zstd')来指定表压缩格式为zstd。 AS：使用CTAS创建表。

数据湖探索 DLI 创建DLI表

云服务器内容精选

创建DLI表

7*24

备案

专业服务

退订

建议反馈

售前咨询热线