云容器引擎 CCE-调度配置:AI任务性能增强调度(Volcano调度器支持)

时间:2024-05-17 11:30:03

AI任务性能增强调度(Volcano调度器支持)

公平调度(DRF)

DRF(Dominant Resource Fairness)是主资源公平调度策略,可以支持多种类型资源的公平分配,应用于大批量提交AI训练和大数据作业场景。DRF调度算法优先考虑集群中业务的吞吐量,适用单次AI训练、单次大数据计算以及查询等批处理小业务场景。

启用公平调度(DRF)后,可增强集群业务的吞吐量,提高业务运行性能。详情请参见公平调度(DRF)

组调度(Gang)

Gang调度策略满足了调度过程中的“All or nothing”的调度需求,避免Pod的任意调度导致集群资源的浪费,应用于AI、大数据等多任务协作场景。

启用组调度(Gang)后,可以解决分布式训练任务之间的资源忙等和死锁等痛点问题,大幅度提升整体训练性能。详情请参见组调度(Gang)

support.huaweicloud.com/usermanual-cce/cce_10_0785.html