云服务器内容精选

华为云首页用户手册

管理HetuEngine计算实例

MAPREDUCE服务 MRS-配置HetuEngine资源组:资源组使用场景

资源组使用场景通过资源组可以实现计算实例内的资源管理。对不同用户、不同查询分配不同的资源组，可以起到资源隔离的作用，避免单个用户或查询独占计算实例的资源，也能通过资源组之间的权重优先级配置保障重要任务优先执行。典型资源组使用场景如表1所示。表1 典型资源组使用场景典型场景解决方案随着使用计算实例的业务团队的增加，当某个团队的任务更加重要并且不想执行查询时没有资源。每个团队分配一个指定的资源组；重要任务分配到资源较多的资源组；保证子资源组的占比和小于等于100%时，可保证某一个队列的资源不被其他资源组抢占，类似于静态化分资源。当实例资源负载很高时，两个用户同时提交一个查询。一开始，两个查询都在排队。当有空闲资源时，可以调度特定用户的查询首先获取到资源。两个用户分配不同的资源组，重要的任务可以分配到权重高或优先级高的资源组，调度策略由schedulingPolicy配置，不同的调度策略，会有不同的资源分配顺序。对于即席查询和批量查询，可以根据不同的SQL类型进行更合理的资源分配。可以对不同的查询类型，比如EXPLAIN、INSERT、SELECT和DATA_DEFINITION等类型，匹配到不同的资源组，分配不同的资源来执行查询。

MAPREDUCE服务 MRS 管理HetuEngine计算实例
MAPREDUCE服务 MRS-配置HetuEngine查询容错执行能力:使用HetuEngine查询容错执行能力须知

使用HetuEngine查询容错执行能力须知容错不适用于已损坏的查询或其他用户错误场景。例如：不会花费资源重试由于无法解析SQL而失败的查询任务。不同数据源对SQL语句的容错支持能力存在差异：所有数据源都支持读操作的容错执行。 Hive数据源支持写操作的容错执行。容错能力非常适合大批量查询，如果用户在容错集群上同时运行大量短时间小查询，则可能会遇到延迟。因此，建议处理批处理操作时使用专用的容错计算实例，与进行交互式查询的更高查询量的计算实例分开。

MAPREDUCE服务 MRS 管理HetuEngine计算实例
MAPREDUCE服务 MRS-配置HetuEngine查询容错执行能力:HetuEngine查询容错执行能力介绍

HetuEngine查询容错执行能力介绍当集群中的节点因网络、硬件或软件问题发生故障时，在故障节点上运行的所有查询任务都将丢失。这可能会严重影响集群生产力并造成资源浪费，尤其对于长时间运行的查询影响较大。HetuEngine提供一种故障恢复机制，即容错执行能力。集群可通过自动重新运行受影响的查询或其组件任务来降低查询失败概率。可降低人工干预并提高了容错性，但会延长总执行时间。当前支持如下两种容错执行机制： QUERY级重试策略：开启QUERY级别容错不会进行中间数据落盘，如果查询任务失败，将自动重试该查询任务的所有task。当集群的大部分工作由小查询组成时建议使用此策略。 TASK级重试策略：开启TASK级别容错会默认配置HDFS作为交换区，将exchange中间数据落盘，如果查询任务失败，将重试失败的task。建议在执行大批量查询时使用此策略，集群可以更高效的重试查询中的小颗粒任务，而不是整个查询。本示例介绍设置“TASK”重试策略容错执行机制。

MAPREDUCE服务 MRS 管理HetuEngine计算实例