Workflow的两种形态

什么是Workflow

Workflow(也称工作流)本质是开发者基于实际业务场景开发用于部署模型或应用的流水线工具。在机器学习的场景中,流水线可能会覆盖数据标注、数据处理、模型开发/训练、模型评估、应用开发、应用评估等步骤。

一条流水线由多个节点组成,Workflow SDK提供了流水线需要覆盖的功能以及功能需要的参数描述。总的来说,Workflow有两种形态:

开发态

用户在开发流水线的时候,使用SDK对节点以及节点之间串联的关系进行描述。对流水线的开发操作在Workflow中统称为Workflow的开发态。开发者结合实际业务的需求,通过Workflow提供的Python SDK,将ModelArts模块的能力封装成流水线中的一个个步骤。对于AI开发者来说是非常熟悉的开发模式,而且灵活度极高。Python SDK主要提供以下能力。

调测:部分运行、全部运行、debug。

发布:发布到运行态。

实验记录:实验的持久化及管理。

运行态

当确定好整条流水线后,开发者可以将流水线固化下来,提供给其他人使用。使用者无需关注流水线中包含什么算法,也不需要关注流水线是如何实现的。使用者只需要关注流水线生产出来的模型或者应用是否符合上线要求,如果不符合,是否需要调整数据和参数重新迭代。这种使用固化下来的流水线的状态,在Workflow中统称为运行态。Workflow提供了可视化的工作流运行方式。使用者只需要关注一些简单的参数配置,模型是否需要重新训练和模型当前的部署情况。运行态工作流的来源为:通过开发态发布或者通过AI Gallery订阅。运行态主要提供以下能力。

统一配置管理:管理工作流需要配置的参数及使用的资源等。

操作工作流:启动、停止、复制、删除工作流。

运行记录:工作流历史运行的参数以及状态记录。

从AI Gallery订阅的Workflow如何使用

  1. 1.登录AI Gallery的Workflow案例库

  2. 2.从AI Gallery选择并订阅一个Workflow。

  3. 3.订阅完成后,单击“运行”后跳转到ModelArts控制台界面,选择资产版本和云服务区域,单击“导入”,进入该Workflow的详情页面。

  4. 4.单击右上角的“配置”后进入配置页面,根据您所订阅的工作流,配置Workflow需要的部分输入项和参数,单击右上角的“保存配置”。

  5. 5.保存成功后,单击右上角的“启动”,启动Workflow。

  6. 6.Workflow进入运行页面,等待Workflow运行。

  7. 7.每一个节点运行状况页面的“状态”为此节点的运行状态,运行成功会自动执行下一个节点的运行,直至所有节点运行成功,代表Workflow完成运行。