华为云首页用户手册

数据湖探索 DLI-使用Spark SQL作业分析OBS数据:常见问题

数据湖探索 DLI-使用Spark SQL作业分析OBS数据:常见问题

时间：2024-11-15 15:04:42

数据湖探索 DLI SQL作业开发指南

常见问题

问题一：查询OBS分区表报错，报错信息如下：
```
 DLI .0005: There should be at least one partition pruning predicate on partitioned table `xxxx`.`xxxx`.;
```
问题根因：查询OBS分区表时没有携带分区字段。

解决方案：查询OBS分区表时，where条件中至少包含一个分区字段。
问题二：使用DataSource语法指定OBS文件路径创建OBS表，insert数据到OBS表，显示作业运行失败，报：“DLI.0007: The output path is a file, don't support INSERT...SELECT” 错误。
问题示例语句参考如下：
```
CREATE TABLE testcsvdatasource (name string, id int) USING csv OPTIONS (path "obs://dli-test-021/data/test.csv");
```
问题根因：创建OBS表指定的OBS路径为具体文件，导致不能插入数据。例如上述示例中的OBS路径为："obs://dli-test-021/data/test.csv"。
解决方案：使用DataSource语法创建OBS表指定的OBS文件路径改为文件目录即可，后续即可通过insert插入数据。上述示例，建表语句可以修改为：
```
CREATE TABLE testcsvdatasource (name string, id int) USING csv OPTIONS (path "obs://dli-test-021/data");
```
问题三：使用Hive语法创建OBS分区表时，提示语法格式不对。例如，如下使用Hive语法创建以classNo为分区的OBS表：
```
CREATE TABLE IF NOT EXISTS testtable(name STRING, score DOUBLE, classNo INT) PARTITIONED BY (classNo) STORED AS TEXTFILE LOCATION 'obs://dli-test-021/data7';
```
问题根因：使用Hive语法创建OBS分区表时，分区字段不能出现在表名后的字段列表中，只能定义在PARTITIONED BY后。
解决方案：使用Hive语法创建OBS分区表时，分区字段指定在PARTITIONED BY后。例如：
```
CREATE TABLE IF NOT EXISTS testtable(name STRING, score DOUBLE) PARTITIONED BY (classNo INT) STORED AS TEXTFILE LOCATION 'obs://dli-test-021/data7';
```

上一篇：数据湖探索 DLI-在Spark SQL作业中使用UDAF:环境准备

下一篇：数据湖探索 DLI-使用Spark SQL作业分析OBS数据:DataSource和Hive两种语法创建OBS表的区别

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

数据湖探索 DLI-使用Spark SQL作业分析OBS数据:常见问题

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题