检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Workflow高阶能力 在Workflow中使用大数据能力(DLI/MRS) 在Workflow中指定仅运行部分节点 父主题: 开发Workflow命令参考
PyTorch-GPU框架的代码示例,请参见示例:创建DDP分布式训练(PyTorch+GPU)中的方式一 TensorFlow-GPU框架启动原理 单机场景下(即选择的实例数为1),ModelArts只会在一个节点上启动一个训练容器,该训练容器独享节点规格的可使用资源。
节点 创建Workflow数据集节点 创建Workflow数据集标注节点 创建Workflow数据集导入节点 创建Workflow数据集版本发布节点 创建Workflow训练作业节点 创建Workflow模型注册节点 创建Workflow服务部署节点 父主题: 开发Workflow命令参考
import os import zipfile import moxing as mox mox.file.copy('yolov8_train_ascend.zip','obs://pcb-data-me/pcb.zip') 父主题: 在Notebook中使用Moxing命令
父主题: 在Notebook中使用Moxing命令
指定启动脚本与集群 from modelarts import workflow as wf # 通过MrsStep来定义一个MrsJobStep节点, algorithm = wf.steps.MrsJobAlgorithm( boot_file="obs://spark-sql
在服务部署节点启动之后会等待用户设置相关配置信息,选择模型及版本为异步推理模型,设置服务启动参数,配置完成后直接单击继续运行即可。 其中服务启动参数与您选择的异步推理模型相关,选择了需要的模型及版本后,系统会自动匹配响应的服务启动参数。 父主题: 创建Workflow节点
h5py.File('obs://bucket/random.hdf5', 'r') as f: print(f.require_dataset("default", dtype=np.float32, shape=(1000,))) 父主题: 在Notebook中使用Moxing命令
构建Workflow多分支运行场景 Workflow多分支运行介绍 构建条件节点控制分支执行 配置节点参数控制分支执行 配置多分支节点数据 父主题: 开发Workflow命令参考
1 2 import moxing as mox mox.file.copy_parallel('/tmp/sub_dir_0', '/tmp/sub_dir_1') 父主题: 在Notebook中使用Moxing命令
运行态配置 调用工作流对象的release方法将工作流发布到运行态,在ModelArts管理控制台,单击Workflow找到相应的工作流进行根路径配置,如下所示: 图2 根目录配置 父主题: 开发Workflow命令参考
否 str、Placeholder、Storage command 启动命令 否 str、Placeholder parameters 算法超参 否 AlgorithmParameters的列表 engine 作业使用的镜像信息 否 JobEngine environments
处理方法 需要排查执行命令的启动文件目录是否正确,具体操作如下: 在ModelArts管理控制台,使用训练的自定义镜像创建训练作业时,“创建方式”选择“自定义算法”,“启动方式”选择“自定义”。
第二条命令为重新生成GRUB引导程序的配置文件,用于在启动计算机时加载操作系统, 命令将使用新安装的内核镜像更新GRUB的配置文件,以便在下次启动时加载新的内核。 父主题: Lite Server
主要用于存在多分支选择执行的复杂场景,在每次启动执行后需要根据相关配置信息决定哪些分支需要执行,哪些分支需要跳过,达到分支部分执行的目的。 父主题: 构建Workflow多分支运行场景
应用场景 主要用于存在多分支选择执行的复杂场景,在每次启动执行后需要根据相关配置信息决定哪些分支需要执行,哪些分支需要跳过,达到分支部分执行的目的,与ConditionStep的使用场景类似,但功能更加强大。
执行如下命令: workflow.release() 上述命令执行完成后,如果日志打印显示发布成功,则可前往ModelArts的Workflow页面中查看新发布的工作流,进入Workflow详情,单击“配置”进行参数配置。工作流相关的配置执行操作可参考如何使用Workflow。
父主题: 开发Workflow命令参考
recursive=True) tf.gfile.DeleteRecursively 父主题: 在Notebook中使用Moxing命令
Workflow资产白名单设置: 在资产第一次发布时,可以通过release_to_gallery方法的visibility+group_users字段进行设置,后续需要对指定资产进行用户白名单添加或删除操作时,可执行如下命令: from modelarts import workflow