数据湖探索 DLI-为什么insert overwrite覆盖分区表数据的时候,覆盖了全量数据?

时间:2025-02-12 15:00:38

为什么insert overwrite覆盖分区表数据的时候,覆盖了全量数据?

当您使用insert overwrite语句覆盖分区表的数据时,如果发现它覆盖了全量数据而不是预期的分区数据,这可能是因为动态分区覆盖功能没有被启用。

如果需要动态覆盖DataSource表指定的分区数据,您需要先配置参数 dli.sql.dynamicPartitionOverwrite.enabled=true,然后通过insert overwrite语句实现。

“dli.sql.dynamicPartitionOverwrite.enabled”默认值为“false”,在不配置时它会覆盖整张表的数据。

详细说明请参考插入数据

support.huaweicloud.com/dli_faq/dli_03_0212.html