MAPREDUCE服务 MRS-配置HetuEngine查询容错执行能力:HetuEngine查询容错执行能力介绍

时间:2024-08-01 19:24:11

HetuEngine查询容错执行能力介绍

当集群中的节点因网络、硬件或软件问题发生故障时,在故障节点上运行的所有查询任务都将丢失。这可能会严重影响集群生产力并造成资源浪费,尤其对于长时间运行的查询影响较大。HetuEngine提供一种故障恢复机制,即容错执行能力。集群可通过自动重新运行受影响的查询或其组件任务来降低查询失败概率。可降低人工干预并提高了容错性,但会延长总执行时间。

当前支持如下两种容错执行机制:

  • QUERY级重试策略:开启QUERY级别容错不会进行中间数据落盘,如果查询任务失败,将自动重试该查询任务的所有task。当集群的大部分工作由小查询组成时建议使用此策略。
  • TASK级重试策略:开启TASK级别容错会默认配置HDFS作为交换区,将exchange中间数据落盘,如果查询任务失败,将重试失败的task。建议在执行大批量查询时使用此策略,集群可以更高效的重试查询中的小颗粒任务,而不是整个查询。

本示例介绍设置“TASK”重试策略容错执行机制。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248940.html