数据湖探索 DLI-指定筛选条件删除分区(只支持OBS表):示例
示例
为了便于理解删除分区语句的使用方法,本节示例为您提供源数据,基于源数据提供删除分区的操作示例。
- 使用DataSource语法创建一个OBS表分区表。
创建了一个名为student的OBS分区表,表中有学生学号(id),学生姓名(name),学生院系编号(facultyNo)和学生班级编号(classNo),该表使用学生院系编号(facultyNo)和学生班级编号(classNo)进行分区。
1 2 3 4 5 6 7 8
create table if not exists student ( id int, name STRING, facultyNo int, classNo INT) using csv options (path 'path 'obs://bucketName/filePath'') partitioned by (faculytNo, classNo);
- 在表格中插入分区数据。
利用插入数据中的内容,可以插入以下数据
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
INSERT into student partition (facultyNo = 10, classNo = 101) values (1010101, "student01"), (1010102, "student02"); INSERT into student partition (facultyNo = 10, classNo = 102) values (1010203, "student03"), (1010204, "student04"); INSERT into student partition (facultyNo = 20, classNo = 101) values (2010105, "student05"), (2010106, "student06"); INSERT into student partition (facultyNo = 20, classNo = 102) values (2010207, "student07"), (2010208, "student08"); INSERT into student partition (facultyNo = 20, classNo = 103) values (2010309, "student09"), (2010310, "student10"); INSERT into student partition (facultyNo = 30, classNo = 101) values (3010111, "student11"), (3010112, "student12"); INSERT into student partition (facultyNo = 30, classNo = 102) values (3010213, "student13"), (3010214, "student14");
- 查看分区。
利用查看指定表所有分区中的内容,可以查看相关的分区内容。
示例代码如下:
SHOW partitions student;
表2 表数据示例 facultyNo
classNo
facultyNo=10
classNo=101
facultyNo=10
classNo=102
facultyNo=20
classNo=101
facultyNo=20
classNo=102
facultyNo=20
classNo=103
facultyNo=30
classNo=101
facultyNo=30
classNo=102
- 删除分区。
- 示例1:按指定筛选条件删除分区(该操作仅适用于OBS表),使用AND语句删除分区数据。
表3 执行前数据 facultyNo
classNo
facultyNo=10
classNo=101
facultyNo=10
classNo=102
facultyNo=20
classNo=101
facultyNo=20
classNo=102
执行以下语句删除facultyNo = 20且classNo = 102分区:
ALTER TABLE student DROP IF EXISTS PARTITIONS (facultyNo = 20 AND classNo = 102);
可以看到该语句会删除同时满足(AND)两个条件的分支的分区。
表4 执行后数据 facultyNo
classNo
facultyNo=10
classNo=101
facultyNo=10
classNo=102
facultyNo=20
classNo=101
- 示例2:按指定筛选条件删除分区(该操作仅适用于OBS表),使用OR语句进行删除。
表5 执行前数据 facultyNo
classNo
facultyNo=10
classNo=101
facultyNo=10
classNo=102
facultyNo=20
classNo=101
facultyNo=20
classNo=102
执行语句删除满足条件facultyNo = 10或classNo = 101的分区:
ALTER TABLE student DROP IF EXISTS PARTITIONS (facultyNo = 10), PARTITIONS (classNo = 101);
执行结果:
表6 执行后数据 facultyNo
classNo
facultyNo=20
classNo=102
在上述删除条件的框选下,分区记录中第一条数据既满足院系编号,又满足班级编号,第二条数据满足了院系编号,第三条数据满足了班级编号。
因此执行删除分区语句后只剩余1行分区。
按照方法一,上述执行语句还可以写成:
ALTER TABLE student DROP IF EXISTS PARTITIONS (facultyNo = 10 OR classNo = 101);
- 示例3:按指定筛选条件删除分区(该操作仅适用于OBS表),使用关系运算符语句删除指定分区。
表7 执行前数据 facultyNo
classNo
facultyNo=10
classNo=101
facultyNo=10
classNo=102
facultyNo=20
classNo=101
facultyNo=20
classNo=102
facultyNo=20
classNo=103
执行删除分区语句,删除classNo大于100小于102的分区:
ALTER TABLE student DROP IF EXISTS PARTITIONS (classNo BETWEEN 100 AND 102);
执行结果:
表8 执行前数据 facultyNo
classNo
facultyNo=20
classNo=103
- 示例1:按指定筛选条件删除分区(该操作仅适用于OBS表),使用AND语句删除分区数据。
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- 手机云备份_自动云备份_云备份怎么恢复
- GaussDB(for MySQL)并行查询_GaussDB(for MySQL)内核_GaussDB(for MySQL)并行执行_PQ
- 云数据库Gaussdb数据库索引_华为gaussdb__gaussdb 数据库
- 如何配置CTS关键操作通知_关键操作通知的使用场景_CTS关键操作通知的常见问题-华为云
- 轻松云备份_华为云备份_云备份是什么意思
- 网站安全-Web应用防火墙-精准访问防护规则
- 怎么使用云服务备份_云服务备份是干什么的_云备份是什么
- 如何查看CTS操作事件_云审计操作事件_CTS指导视频-华为云
- GaussDB(DWS)服务_什么是IoT数仓_如何使用IoT数仓