算法管理-华为云

自动驾驶云服务 OCTOPUS-算法文件说明:相关参数说明

相关参数说明表1 相关参数说明名称环境变量默认值备注数据集目录 DATASET CCE: /tmp/data/dataset ModelArts: /home/ma-user/datasets 数据集在训练任务中的存放路径，可自行获取各种数据集信息。数据集映射 DATASET_MAP {key1: value1, key2: value2} 以键值对提供数据集名称和容器内路径的变量，其中容器内路径参考数据集目录模型存放目录 RESULT CCE: /tmp/result ModelArts： /home/ma-user/modelarts/result 训练产物的存放路径，产物输出到此路径后，在任务结束时。可在任务详情页的输出模型版本中浏览及执行各种操作。增量训练模型目录 MODEL CCE: /tmp/data/model ModelArts: /home/ma-user/modelarts/user-job-dir/model 待增量模型版本在训练任务中的存放路径，可自行获取模型文件信息。平台如果支持多类型资源池，强烈建议用户使用环境变量适配算法提交任务，可免去更换默认值的环节。以CCE集群多数据集训练为例，数据集分别命名为“dataset-0”，“dataset-1” ，实际路径为/tmp/data/dataset/dataset-0和/tmp/data/dataset/dataset-1 (DATASET环境变量始终保持/tmp/data/dataset不变)。推荐使用环境变量获取以上变量，获取方式为 # 获取数据集总目录 DATASET_DIR = os.getenv("DATASET") # 训练任务最多可使用5个数据集，通过迭代方式获取每个数据集路径 DATASETS_DIR_LIST = [os.path.join(DATASET_DIR), path for path in os.listdir(DATASET_DIR)]

自动驾驶云服务 OCTOPUS 算法管理

网络智能体-MindSpore模型训练样例:操作说明

操作说明 MindSpore是一个全场景AI计算框架，它的特点是可以显著地减少模型训练的时间和成本、以较少的资源和最高能效比在现网运行，并能够适应端、边、云的全场景部署形态。本节提供MindSpore样例，供用户体验模型训练过程。此样例无需执行数据集上传或数据处理操作，相应的算法文件请从华为云论坛下载：https://bbs.huaweicloud.com/forumreview/thread-184366-1-1.html 必须使用华为云账号登录后，才能将代码附件下载至本地。附件解压后，可以获得如下样例文件： data.zip：数据集文件集合，均为二进制文件，无需解压，直接上传至模型训练服务中。 train.py：模型训练主入口文件。

网络智能体算法管理

网络智能体-MindSpore模型训练样例:操作步骤

操作步骤在模型训练服务首页，单击项目名称，进入项目总览页面。在左侧导航栏中，单击“算法管理”，进入算法管理界面。单击界面右上角的“创建算法工程”，进入“创建算法工程”界面。其中，参数“模型训练名称”配置为“MindSpore”，其余参数保持默认值即可。单击“立即创建”，MindSpore模型训练工程创建完成。等待WebIDE开发环境创建完成。环境创建完成后，请检查确认算法工程对应“开发环境”列已经选择WebIDE开发环境。如果没有，请手工从下拉框中选择相应的WebIDE开发环境。单击模型训练工程所在行，对应“操作”列的“打开”。浏览器新增打开一个页签，并进入WebIDE开发环境界面。在左侧目录中，能看到算法主文件“MindSpore.py”。从本地同时选中“data.zip”和“train.py”文件，拖拽至左侧文件目录中。 “dataset.py”和“resnet.py”文件上传成功，并和“MindSpore.py”文件处于同级目录中。也可以在左侧目录空白区域，右键从弹出的菜单中选择“NAIE Upload”，右侧界面新增“NAIE Upload”页签，按照界面提示，完成文件上传操作。回到模型训练服务算法管理界面，单击模型训练工程所在行，对应“操作”列的“创建任务”，进入“创建训练任务”界面。需要配置如下参数，其余参数保持默认值即可，配置效果如所示。主入口：从下拉框中选择主入口文件“train.py”。 AI引擎：从第一个下拉框中选择AI引擎“Ascend-Powered-Engine”，从第二个下拉框中选择匹配的python语言版本“MindSpore-1.3-cann_5.0.2-python3.7-euleros2.8-aarch64”。计算节点规格：模型训练的资源节点规格，请选择第三个资源规格项“24核 | 96GiB | 1*huawei.com/ascend-1980”。计算节点个数：请配置为“1”，即使用单节点进行训练。图1 训练任务参数配置单击“立即创建”，界面跳转至任务管理界面，新增一个训练任务行。等待模型训练完成，耗时约3分钟。单击训练任务所在行，对应“操作”列的“详情”，进入训练任务详情界面。可以查看训练任务的系统日志信息，关键日志信息如下所示。“Accuracy”为当前模型精度。 ================== Training completed ==================Accuracy:0.98====================== Save model ======================

网络智能体算法管理

云服务器内容精选

算法管理

7*24

备案

专业服务

退订

建议反馈

售前咨询热线