AI开发平台MODELARTS-什么是Workflow:Workflow介绍

时间:2024-11-28 20:08:33

Workflow介绍

Workflow(也称工作流,下文中均可使用工作流进行描述)本质是开发者基于实际业务场景开发用于部署模型或应用的流水线工具。在机器学习的场景中,流水线可能会覆盖数据标注、数据处理、模型开发/训练、模型评估、应用开发、应用评估等步骤。

图2 Workflow

区别于传统的机器学习模型构建,开发者可以使用Workflow开发生产流水线。基于MLOps的概念,Workflow会提供运行记录、监控、持续运行等功能。根据角色的分工与概念,产品上将工作流的开发和持续迭代分开。

一条流水线由多个节点组成,Workflow SDK提供了流水线需要覆盖的功能以及功能需要的参数描述。用户在开发流水线的时候,使用SDK对节点以及节点之间串联的关系进行描述。对流水线的开发操作在Workflow中统称为Workflow的开发态。当确定好整条流水线后,开发者可以将流水线固化下来,提供给其他人使用。使用者无需关注流水线中包含什么算法,也不需要关注流水线是如何实现的。使用者只需要关注流水线生产出来的模型或者应用是否符合上线要求,如果不符合,是否需要调整数据和参数重新迭代。这种使用固化下来的流水线的状态,在Workflow中统称为运行态。

总的来说,Workflow有两种形态。

  • 开发态:使用Workflow的Python SDK开发和调测流水线。
  • 运行态:可视化配置运行生产好的流水线。

Workflow基于对当前ModelArts已有能力的编排,基于DevOps原则和实践,应用于AI开发过程中,提升了模型开发与落地效率,更快地进行模型实验和开发,并更快地将模型部署到生产环境。

工作流的开发态和运行态分别实现了不同的功能。

support.huaweicloud.com/usermanual-standard-modelarts/modelarts_workflow_0269.html