检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CCE平台训练任务生成的日志文件有以下四种: train-{id}-{index}.log:用户实际训练任务的训练日志。 train-{id}-{index}-init.log:Octopus平台提供的前置数据的准备日志。
参数命令 参数命令为运行启动脚本的shell命令,由配置的“Boot文件路径”和“参数列表中参数及参数值”自动生成,例如: main.py --total_epoches=3 --img_size=[1333,800] --batch_size=1 --optimizer_name
参数命令 参数命令为运行启动脚本的shell命令,由配置的“Boot文件路径”和“参数列表中参数及参数值”自动生成,例如: main.py --total_epoches=3 --img_size=[1333,800] --batch_size=1 --optimizer_name
此外,训练服务提供多种模型评测指标,从多维度衡量模型质量。让自动驾驶研发更便捷。训练服务的开发流程如下: 训练服务操作引导如下: 算法管理:负责管理用户上传的符合平台规范的算法。 训练任务:用户选择训练算法和训练数据集创建训练任务进行训练。
训练服务 训练服务简介 算法管理 训练任务 模型评测 编译管理 推理服务
训练服务 训练算法 模型评测 编译镜像 编译任务 父主题: 自动驾驶云服务全流程开发
训练任务 训练任务 任务队列 父主题: 训练服务
任务队列 训练任务在创建之后,可在此查看任务队列,同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 训练任务”。 选择“任务队列”页签,可查看任务。 图1 任务队列 训练任务队列相关操作 在“任务队列”页签,还可以进行以下操作。
以训练、评测镜像为例,一般的镜像制作Dockerfile示例如下(xxx替换为实际路径): # 载入基础镜像,训练或评测引擎一般需包含cuda/cudnn等算法基础环境。
模型文件说明(训练) Octopus模型管理模块,支持用户上传模型,并将其用于模型评测、模型编译任务。
算法管理 训练算法 算法文件说明 父主题: 训练服务
推理服务 推理服务 任务队列 父主题: 训练服务
编译任务 训练产生的模型版本,不可直接被车载芯片识别,需要经过编译工具,将训练产生的模型编译成车载芯片识别的模型。 创建编译任务 在左侧菜单栏中单击“训练服务 > 编译管理”。 选择“编译任务”页签,单击“新建编译任务”,填写基本信息。
推理服务 新建推理服务 在左侧菜单栏中单击“训练服务 > 推理服务”。 选择“推理服务”页签,单击“新建推理服务”,填写基本信息。 图1 新建推理服务 名称:输入推理服务名称,只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。 描述:简要描述任务信息。
ModelArts集群 训练镜像 八爪鱼训练镜像使用ma-user用户运行,用户需保证镜像内已创建ma-user用户,且训练过程中使用到的python环境或其他依赖对ma-user具有权限,以下分别从“从0到1构建”和“从已有镜像”迁移两种方式说明。
编译管理 编译任务 任务队列 编译镜像 父主题: 训练服务
算法文件基本要求 算法文件目录结构可参考如下,需要包括启动文件“xxx.py”(启动文件名可自定义),以及一些必要的训练文件。 启动文件(必选) 算法的启动文件,直接填写相对路径,如 “main.py” 或“tools/main.py”。
评测脚本 评测任务 任务队列 评测对比 模型数据集支持 父主题: 训练服务
编译镜像 编译镜像可以将训练模型转换为特定芯片支持的可识别的文件,编译镜像模块支持对编译镜像的增加、查询、删除以及编辑。 创建编译镜像 在左侧菜单栏中单击“训练服务 > 编译管理”。 选择“编译镜像”页签,单击“新建编译镜像”,填写基本信息。
在左侧菜单栏中单击“训练服务 > 编译管理”。 选择“任务队列”页签,可查看任务。 编译任务队列相关操作 在“任务队列”页签,还可以进行以下操作。 表1 编译任务队列相关操作 任务 操作步骤 置顶任务 单击操作栏中的“置顶”,即可将任务调整至队列中最高优先级。