MapReduce服务 MRS-写入更新数据时报错 Parquet/Avro schema:回答
回答
建议在使用Hudi时,schema应该以向后兼容的方式演进。此错误通常发生在使用向后不兼容的演进方式删除某些列如“col1”后,更新parquet文件中以旧的schema写入的列“col1”,在这种情况下,parquet尝试在传入记录中查找所有当前字段,当发现“col1”不存在时,发生上述异常。
解决这个问题的办法是使用所有schema演进版本来创建uber schema,并使用该schema作为target schema。用户可以从hive metastore中获取schema并将其与当前schema合并。
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是Flume_如何使用Flume
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 什么是数据湖探索服务_数据湖探索DLI用途与特点
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- 文档数据库服务DDS在各行业的典型应用
- 什么是Spark_如何使用Spark_Spark的功能是什么
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是HDFS_HDFS特性
- MapReduce服务_什么是Loader_如何使用Loader