云服务器内容精选

  • Spark异步任务执行表compaction参数设置规范 写作业未停止情况下,禁止手动执行run schedule命令生成compaction计划。 错误示例: run schedule on dsrTable 如果还有别的任务在写这张表,执行该操作会导致数据丢失。 执行run compaction命令时,禁止将hoodie.run.compact.only.inline设置成false,该值需要设置成true。 错误示例: 配置参数 hoodie.run.compact.only.inline=false 随后执行SQL run compaction on dsrTable; 如果还有别的任务在写这张表,执行上述操作会导致数据丢失。 正确示例:异步Compaction hoodie.compact.inline = truehoodie.run.compact.only.inline=true 执行SQL run compaction on dsrTable; 父主题: Spark on Hudi开发规范