检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发Workflow的核心概念介绍 Workflow Workflow是一个有向无环图(Directed Acyclic Graph,DAG),由节点和节点之间的关系描述组成。 图1 Workflow介绍 节点与节点之间的依赖关系由单箭头的线段来表示,依赖关系决定了节点的执行顺序
log单卡训练日志、MindSpore日志、普通日志。 图1 ModelArts训练日志 只有MindSpore+Ascend训练场景下会产生单独的MindSpore日志。其他AI引擎的日志都包含在普通日志中,无法区分。 训练日志的时效性 从日志产生的时效性上可以分为以下3种情况: 实时日志:训练作业实时运行时产生,
CREATE_FAILED: 创建失败; CREATING: 创建中; DELETED: 已删除; DELETE_FAILED: 删除失败; DELETING: 删除中; ERROR: 错误; RUNNING: 运行中; STARTING: 启动中; START_FAILED: 启动失败;
发基于PyTorch、TensorFlow和MindSpore等引擎的AI模型。 支持通过JupyterLab工具在线打开Notebook,具体请参见通过JupyterLab在线使用Notebook实例进行AI开发。 支持本地IDE的方式开发模型,通过开启SSH连接,用户本地ID
dli-job提交DLI Spark作业支持的命令 使用ma-cli obs-copy命令复制OBS数据 父主题: 使用Notebook进行AI开发调试
使用自动学习实现零代码AI开发 自动学习简介 使用自动学习实现图像分类 使用自动学习实现物体检测 使用自动学习实现预测分析 使用自动学习实现声音分类 使用自动学习实现文本分类 使用窍门
进入JupyterLab主页后,可在“Notebook”区域下,选择适用的AI引擎,单击后将新建一个对应框架的ipynb文件。 由于每个Notebook实例选择的工作环境不同,其支持的AI框架也不同,下图仅为示例,请根据实际显示界面选择AI框架。 图4 选择AI引擎并新建一个ipynb文件 新建的ipynb文件将呈现在左侧菜单栏中。
├──baichuan2 #Baichuan2的训练代码 ├──baichuan2.sh #Baichuan2训练脚本 权重和词表文件介绍
SDK,则需要在本地环境中安装ModelArts SDK,安装后可直接调用ModelArts SDK轻松管理数据集、创建ModelArts训练作业及创建AI应用,并将其部署为在线服务。 ModelArts SDK使用限制 本地ModelArts SDK不支持进行训练作业调测、模型调试和在开发环
DatasetImportOutput或者DatasetImportOutput的列表 properties 数据集导入相关的配置信息。 是 ImportDataInfo title title信息,主要用于前端的名称展示。 否 str description 数据集导入节点的描述信息。 否 str policy
indSpore引擎的AI模型。具体操作流程如图1 使用JupyterLab在线开发调试代码所示。 图1 使用JupyterLab在线开发调试代码 操作步骤 创建Notebook实例。 在ModelArts控制台创建一个Notebook实例,选择要使用的AI框架。具体参见创建Notebook实例。
同时在GitHub对应仓库的commit记录中也可以查找到对应的信息。 父主题: 通过JupyterLab在线使用Notebook实例进行AI开发
导入任务的当前状态。可选值如下: QUEUING:排队中 STARTING:开始执行 RUNNING:运行中 COMPLETED:已完成 FAILED:已失败 NOT_EXIST:不存在 task_id String 任务ID。 total_file_count Long 总文件数。
服务器规格名称。 image_id 是 String 服务器镜像ID。 key_pair_name 否 String 服务器登录密钥对名称,admin_pass和key_pair_name必须二选一。注意超节点仅支持key_pair_name创建。 name 是 String 服务器名称。 network
合的机制。从项目管理角度上需要增加一个AI项目的工作流程机制管理,流程管理不是一个简单的流水线构建管理,它是一个任务管理体系。 这个工具需要具备以下的能力: 流程分析:沉淀行业样例流水线,帮助用户能快速进行AI项目的参考设计,启动快速的AI项目流程设计。 流程定义与重定义:以流水
练生成的模型。 步骤4:创建AI应用 在训练作业详情页的右上角单击“创建AI应用”,进入创建AI应用页面。 也可以在ModelArts管理控制台,选择“资产管理 > AI应用”,在“自定义AI应用”页面,单击“创建”,进入创建AI应用页面。 在创建AI应用页面,系统会自动根据上一
service failed due to connection refused, please confirm your service is connectable Send the request from gateway to the service failed due to
在ModelArts的Notebook中如何查看GPU使用情况? 创建Notebook时,当您选择的类型为GPU时,查看GPU使用情况具体操作如下: 登录ModelArts管理控制台,选择“开发空间>Notebook”。 在Notebook列表中,单击目标Notebook“操作”
在Notebook Job Definitions页签单击任务名称 图6 设置定时任务 父主题: 通过JupyterLab在线使用Notebook实例进行AI开发
查看Workflow工作流运行记录 管理Workflow工作流 重试/停止/运行Workflow节点 父主题: 使用Workflow实现低代码AI开发