华为云首页用户手册

数据湖探索 DLI-Spark异步任务执行表compaction参数设置规范

数据湖探索 DLI-Spark异步任务执行表compaction参数设置规范

时间：2025-02-12 15:00:27

数据湖探索 DLI Spark on Hudi开发规范

Spark异步任务执行表compaction参数设置规范

写作业未停止情况下，禁止手动执行run schedule命令生成compaction计划。
错误示例：
```
run schedule on dsrTable
```
如果还有别的任务在写这张表，执行该操作会导致数据丢失。
执行run compaction命令时，禁止将hoodie.run.compact.only.inline设置成false，该值需要设置成true。
错误示例：

配置参数
```
hoodie.run.compact.only.inline=false
```
随后执行SQL
```
run compaction on dsrTable;
```
如果还有别的任务在写这张表，执行上述操作会导致数据丢失。

正确示例：异步Compaction
```
hoodie.compact.inline = truehoodie.run.compact.only.inline=true
```
执行SQL
```
run compaction on dsrTable;
```

父主题： Spark on Hudi开发规范

上一篇：分布式消息服务RabbitMQ版-【下线公告】华为分布式消息服务RabbitMQ版延迟消息插件下线公告:替代方案

下一篇：分布式消息服务RabbitMQ版-【下线公告】华为分布式消息服务RabbitMQ版延迟消息插件下线公告:替代方案

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据湖探索 DLI-Spark异步任务执行表compaction参数设置规范

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题