MAPREDUCE服务 MRS-Spark2x多主实例:背景介绍

时间：2024-11-21 15:05:23

MAPREDUCE服务 MRS

背景介绍

基于社区已有的JD BCS erver基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDB CS erver服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的JDBCServer服务。

多主实例模式相比主备模式的HA方案，优势主要体现在对以下两种场景的改进。

主备模式下，当发生主备切换时，会存在一段时间内服务不可用，该段时间JDBCServer无法控制，取决于Yarn服务的资源情况。
Spark中通过类似于HiveServer2的Thrift JDBC提供服务，用户通过Beeline以及JDBC接口访问。因此JDBCServer集群的处理能力取决于主Server的单点能力，可扩展性不够。

采用多主实例模式的HA方案，不仅可以规避主备切换服务中断的问题，实现服务不中断或少中断，还可以通过横向扩展集群来提高并发能力。

上一篇：MAPREDUCE服务 MRS-Spark2x多主实例:实现方案

下一篇：MAPREDUCE服务 MRS-Flink CEP in SQL:SQL查询语法