MAPREDUCE服务 MRS-Spark On Hudi性能调优:初始化Hudi表时，可以使用BulkInsert方式快速写入数据

时间：2024-05-15 22:32:40

MAPREDUCE服务 MRS Spark on Hudi开发规范

初始化Hudi表时，可以使用BulkInsert方式快速写入数据

示例：

set hoodie.combine.before.insert=true;                // 入库前去重，如果数据没有重复 该参数无需设置
set hoodie.datasource.write.operation = bulk_insert;  // 指定写入方式为bulk insert方式。
set hoodie.bulkinsert.shuffle.parallelism = 4;        // 指定bulk_insert写入时的并行度，等于写入完成后保存的分区parquet文件数
insert into dsrTable select * from srcTabble

上一篇：MAPREDUCE服务 MRS-Spark On Hudi性能调优:Spark加工Hudi表时其他参数优化

下一篇：MAPREDUCE服务 MRS-Spark On Hudi性能调优:Spark加工Hudi表时其他参数优化