MAPREDUCE服务 MRS-配置HetuEngine查询容错执行能力:HetuEngine查询容错执行能力介绍
HetuEngine查询容错执行能力介绍
当集群中的节点因网络、硬件或软件问题发生故障时,在故障节点上运行的所有查询任务都将丢失。这可能会严重影响集群生产力并造成资源浪费,尤其对于长时间运行的查询影响较大。HetuEngine提供一种故障恢复机制,即容错执行能力。集群可通过自动重新运行受影响的查询或其组件任务来降低查询失败概率。可降低人工干预并提高了容错性,但会延长总执行时间。
当前支持如下两种容错执行机制:
- QUERY级重试策略:开启QUERY级别容错不会进行中间数据落盘,如果查询任务失败,将自动重试该查询任务的所有task。当集群的大部分工作由小查询组成时建议使用此策略。
- TASK级重试策略:开启TASK级别容错会默认配置HDFS作为交换区,将exchange中间数据落盘,如果查询任务失败,将重试失败的task。建议在执行大批量查询时使用此策略,集群可以更高效的重试查询中的小颗粒任务,而不是整个查询。
本示例介绍设置“TASK”重试策略容错执行机制。
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是ClickHouse_如何使用ClickHouse
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是Kafka_如何使用Kafka
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_什么是Yarn_如何使用Yarn
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离