数据湖探索 DLI-使用Spark SQL作业分析OBS数据:DataSource和Hive两种语法创建OBS表的区别
DataSource和Hive两种语法创建OBS表的区别
DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异。两种语法创建OBS表主要差异点参见表1。
语法 |
支持的数据类型范围 |
创建分区表时分区字段差异 |
支持的分区数 |
---|---|---|---|
DataSource语法 |
支持ORC,PARQUET,JSON, CS V,AVRO类型 |
创建分区表时,分区字段在表名和PARTITIONED BY后都需要指定。具体可以参考DataSource语法创建单分区OBS表。 |
单表分区数最多允许7000个。 |
Hive语法 |
支持TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET |
创建分区表时,指定的分区字段不能出现在表后,只能通过PARTITIONED BY指定分区字段名和类型。具体可以参考Hive语法创建OBS分区表。 |
单表分区数最多允许100000个。 |
创建OBS表的DataSource语法可以参考使用DataSource语法创建OBS表。
创建OBS表的Hive语法可以参考使用Hive语法创建OBS表。
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- 什么是Flink OpenSource SQL_数据湖探索_Flink OpenSource SQL
- 数据治理中心_数据开发_数据开发能力_脚本和节点介绍-华为云
- 数据治理中心_数据开发_数据开发示例_使用教程-华为云
- 什么是跨源连接-数据湖探索DLI跨源连接
- GaussDB数据库SQL语法_SQL语法_CREATE_ALTER
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是Hue_如何使用Hue
- 什么是Spark_如何使用Spark_Spark的功能是什么