数据湖探索 DLI-使用Spark SQL作业分析OBS数据:DataSource和Hive两种语法创建OBS表的区别

时间:2024-12-05 10:45:40

DataSource和Hive两种语法创建OBS表的区别

DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异。两种语法创建OBS表主要差异点参见表1

表1 DataSource语法和Hive语法创建OBS表的差异点

语法

支持的数据类型范围

创建分区表时分区字段差异

支持的分区数

DataSource语法

支持ORC,PARQUET,JSON, CS V,AVRO类型

创建分区表时,分区字段在表名和PARTITIONED BY后都需要指定。具体可以参考DataSource语法创建单分区OBS表

单表分区数最多允许7000个。

Hive语法

支持TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET

创建分区表时,指定的分区字段不能出现在表后,只能通过PARTITIONED BY指定分区字段名和类型。具体可以参考Hive语法创建OBS分区表

单表分区数最多允许100000个。

创建OBS表的DataSource语法可以参考使用DataSource语法创建OBS表

创建OBS表的Hive语法可以参考使用Hive语法创建OBS表

support.huaweicloud.com/devg-dli/dli_05_0044.html