云服务器内容精选

华为云首页用户手册

Hudi故障处理

MAPREDUCE服务 MRS-写入更新数据时报错Parquet/Avro schema:回答

回答建议在使用Hudi时，schema应该以向后兼容的方式演进。此错误通常发生在使用向后不兼容的演进方式删除某些列如“col1”后，更新parquet文件中以旧的schema写入的列“col1”，在这种情况下，parquet尝试在传入记录中查找所有当前字段，当发现“col1”不存在时，发生上述异常。解决这个问题的办法是使用所有schema演进版本来创建uber schema，并使用该schema作为target schema。用户可以从hive metastore中获取schema并将其与当前schema合并。

MAPREDUCE服务 MRS Hudi故障处理
MAPREDUCE服务 MRS-采集数据时报错HoodieKeyException:回答

回答不可以，会抛HoodieKeyException异常。 Caused by: org.apache.hudi.exception.HoodieKeyException: recordKey value: "null" for field: "name" cannot be null or empty. at org.apache.hudi.keygen.SimpleKeyGenerator.getKey(SimpleKeyGenerator.java:58) at org.apache.hudi.HoodieSparkSqlWriter$$anonfun$1.apply(HoodieSparkSqlWriter.scala:104) at org.apache.hudi.HoodieSparkSqlWriter$$anonfun$1.apply(HoodieSparkSqlWriter.scala:100)

MAPREDUCE服务 MRS Hudi故障处理
MAPREDUCE服务 MRS-使用Spark SQL删除MOR表后重新建表写入数据无法同步ro、rt表:问题

问题使用Spark SQL删除MOR表后重新建表写入数据不能实时同步ro、rt表，报错如下： WARN HiveSyncTool: Got runtime exception when hive syncing, but continuing as ignoreExceptions config is set java.lang.IllegalArgumentException: Failed to get schema for table hudi_table2_ro does not exist at org.apache.hudi.hive.HoodieHiveClient.getTableSchema(HoodieHiveClient.java:183) at org.apache.hudi.hive.HiveSyncTool.syncHoodieTable(HiveSyncTool.java:286) at org.apache.hudi.hive.HiveSyncTool.doSync(HiveSyncTool.java:213)

MAPREDUCE服务 MRS Hudi故障处理
MAPREDUCE服务 MRS-Hive同步数据报错SQLException:问题

问题 Hive同步数据时报错： Caused by: java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Unable to alter table. The following columns have types incompatible with the existing columns in their respective positions : __col1,__col2

MAPREDUCE服务 MRS Hudi故障处理
MAPREDUCE服务 MRS-Hudi写入小精度Decimal数据失败:回答

回答原因： Hudi表数据含有Decimal类型数据。初始入库BULK_INSET方式会使用Spark内部parquet文件的写入类进行写入，Spark对不同精度的Decimal类型处理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。解决方案：执行BULK_INSERT时指定设置“hoodie.datasource.write.row.writer.enable = false”，使hoodie采用Avro兼容的parquet文件写入类进行写入。

MAPREDUCE服务 MRS Hudi故障处理