MAPREDUCE服务 MRS-Flink性能调优建议:基于序列化性能尽量使用POJO和Avro等简单的数据类型

时间:2024-06-17 09:21:36

基于序列化性能尽量使用POJO和Avro等简单的数据类型

使用API编写Flink程序时需要考虑Java对象的序列化,大多数情况下Flink都可以高效的处理序列化。SQL中无需考虑,SQL中数据都为ROW类型,都采用了Flink内置的序列化器,能很高效的进行序列化。

表1 序列化

序列化器

Opts/s

PojoSeriallizer

813

Kryo

294

Avro(Reflect API)

114

Avro(SpecificRecord API)

632

support.huaweicloud.com/devg-rule-mrs/mrs_07_450173.html