华为云首页用户手册

MAPREDUCE服务 MRS-Spark2x无法访问Spark1.5创建的DataSource表:回答

MAPREDUCE服务 MRS-Spark2x无法访问Spark1.5创建的DataSource表:回答

时间：2024-07-02 16:39:32

MAPREDUCE服务 MRS SQL和DataFrame

回答

原因分析：
这是由于Spark2x与Spark1.5存储DataSoure表信息的格式不一致导致的。Spark1.5会将schema信息分成多个part，使用path.park.0作为key进行存储，读取时再将各个part都读取出来，重新拼成完整的信息。而Spark2x直接使用相应的key获取对应的信息。这样在Spark2x中去读取Spark1.5创建的DataSource表时，就无法成功读取到key对应的信息，导致解析DataSource表信息失败。

而在处理Hive格式的表时，Spark2x与Spark1.5的存储方式一致，所以Spark2x可以直接读取Spark1.5创建的表，不存在上述问题。
规避措施：
Spark2x可以通过创建外表的方式来创建一张指向Spark1.5表实际数据的表，这样可以实现在Spark2x中读取Spark1.5创建的DataSource表。同时，Spark1.5更新过数据后，Spark2x中访问也能感知到变化，反过来一样。这样即可实现Spark2x对Spark1.5创建的DataSource表的访问。

上一篇：MAPREDUCE服务 MRS-Set Digest函数:函数

下一篇：MAPREDUCE服务 MRS-DROP SCHEMA:示例

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MAPREDUCE服务 MRS-Spark2x无法访问Spark1.5创建的DataSource表:回答

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题