MAPREDUCE服务 MRS-Spark任务读取HBase报错“had a not serializable result”:回答

时间:2024-06-19 14:14:18

回答

可通过如下两种方式处理:

  • 在代码的SparkConf初始化之前执行以下两行代码:
    System.setProperty("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
    System.setProperty("spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator");
  • 在SparkConf对象使用set方法设置,代码如下:
    val conf = new SparkConf().setAppName("HbaseTest");
    conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
    conf.set("spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator");
support.huaweicloud.com/devg-mrs/mrs_06_0481.html