数据湖探索 DLI-如何合并小文件

时间：2025-02-12 15:00:38

数据湖探索 DLI

如何合并小文件

使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。

推荐使用临时表进行数据中转自读自写在突发异常场景下存在数据丢失的风险

执行SQL：

INSERT OVERWRITE TABLE tablenameselect  * FROM  tablenameDISTRIBUTE BY floor(rand()*20)

父主题： SQL作业开发类

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据湖探索 DLI-如何合并小文件

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！