检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
#该数据集所有标注物信息 导出任务相关操作 在“导出任务”页签,也可以进行以下操作: 表1 导出任务相关操作 任务 操作步骤 查找导出任务 在搜索输入框中输入搜索条件,按回车键即可查询。 查看数据集详情 单击数据集名称,界面跳转至数据集详情页。 删除导出任务 单击导出任务操作栏中的“删除”,删除导出任务。
制作ModelArts集群训练镜像 制作训练镜像 八爪鱼训练镜像使用ma-user用户运行,用户需保证镜像内已创建ma-user用户,且训练过程中使用到的python环境或其他依赖对ma-user具有权限。本地镜像构建完成后,需要将镜像上传到八爪鱼平台镜像仓库。 如果使用dockerfile构建,参考命令为docker
以训练、评测镜像为例,一般的镜像制作Dockerfile示例如下: # 载入基础镜像,训练或评测引擎一般需包含cuda/cudnn等算法基础环境。用户可手动制作或拉取官方镜像(如xxx/cuda:11.0.3-devel-ubuntu18.04 ) FROM {基础镜像} #
以上信息填写无误,单击“创建”。 编译镜像相关操作 在“编译镜像”列表,可对镜像进行以下操作。 表2 编译镜像相关操作 任务 操作步骤 查询镜像 在搜索输入框中输入搜索条件,按回车键即可查询。 查看镜像详情 单击镜像名称,查看镜像详情。 镜像详情:镜像ID、名称、描述、状态、芯片名称、
编译镜像 编译镜像可以将训练模型转换为特定芯片支持的可识别的文件,编译镜像模块支持对编译镜像的增加、查询、删除以及编辑。 创建编译镜像 在左侧菜单栏中单击“训练服务 > 编译管理”。 选择“编译镜像”页签,单击“新建编译镜像”,填写基本信息。 图1 新建编译镜像 名称:包含中英文
创建镜像仓库版本操作账号 功能介绍 创建镜像仓库版本操作账号。 使用说明:假设发送请求后得到用户名cn-north-1@XXXXXXXXXX、密码YYYYYYYYYYY、镜像版本路径 swr.cn-north-1.myhuaweicloud.com/octopus-087679f
在docker客户端,复制推送指令,将镜像推送至Octopus平台。 拉取镜像 支持将平台的镜像拉取至本地进行调试开发。仅支持创建成功的镜像版本进行拉取镜像操作。 单击指定镜像版本“操作”栏内的“拉取”。 复制拉取指令,将镜像拉取至本地。 删除镜像版本 单击镜像版本操作栏内的“更多>删除”,可删除镜像版本。 取消镜像推送
算法镜像和评测镜像cmd以用户创建项目时输入的运行命令为准,仿真器镜像不支持cmd自定义以后台默认的运行命令为准。Entrypoint只在算法镜像生效,评测镜像和仿真器镜像不支持配置entrypoint。 目前自定义算法、自定义评测、自定义脚本的镜像制作使用的基础镜像版本要求为:ubuntu18
用途为“标注”时:图片、3D点云、音频、文本 标注 从下拉列表中选择标注(需提前创建)。 镜像用途 选择镜像用途。 用途为“训练”时:训练/评测 用途为“标注”时:预标注、预审核 镜像仓库 选择镜像仓库以及版本。 共享级别 选择镜像仓库共享级别。 个人:当前操作用户。 团队:当前工作空间下被授权的用户
1/file.png 注意事项 创建Octopus格式数据集需在自定义镜像内将数据处理为Octopus格式存入TARGET_LOG_DIR内,标注来源的数据集创建只支持Octopus格式。 父主题: 制作镜像(数据集)
环境变量使用说明 镜像运行时,会向运行环境注入部分默认文件配置: 表1 环境变量说明 任务名称 文件名 环境变量 预标注任务 待标注数据集目录 OCTPS_DATASET_DIR="/tmp/…/data" 模型仓库中的模型算法目录(非内置) OCTPS_MODEL_DIR="/
IN_INTEGRATION(整合中) EXPORTING(导出中) SUCCESS(成功) INTEGRATION_FAILED(整合失败) EXPORT_FAILED(导出失败) EXPORT_PRE_SUCCESS(导出中) UPLOAD_SUSPENDED(上传中断) INITIALIZING(初始化)
updateClusterNodeLabel 创建镜像仓库 octopus createImageRepo 创建镜像仓库版本 octopus createImageVersion 创建镜像推送账号 octopus createDockerAccount 更新镜像仓库 octopus updateImageRepo
算法时需选择镜像,并上传准备好的训练算法文件,训练任务启动时会把文件下载到容器中,并把算法根目录作为工作目录。 仅镜像(包含算法文件):训练算法文件包含在镜像中,需提前将训练算法文件放入选择的镜像中。 镜像 选择用途为“训练/评测”的镜像和版本,作为训练任务的容器镜像。 共享级别
查询任务。 导出批次任务列表 单击页面的“导出”,可按需选择导出项,可将当前页面的所有标注任务导出至本地,以Excel形式查看。 导出任务 单击操作栏中的“导出数据集”,可创建导出任务。 导出单个批次任务 单击操作栏中的“导出任务列表”项目名称,可按需选择导出项,导出单个批次任务中拆分的任务。
描述:简要描述算法,不包含“@^\#$%&*<>'|"/”,不得超过256个字符。 选择镜像仓库和样本类型。 训练算法创建后,“镜像”“样本类型”不再支持修改,请认真填写。 图2 选择镜像仓库和样本类型 镜像:请选择镜像和版本。 共享级别:可选择个人、团队。 个人:当前操作用户。 团队:当前工作空间下被授权的用户。
情。 导出OBS任务:显示数据导出为OBS的任务,包括任务名称,OBS路径,导出状态和创建时间等。 表5 导出OBS任务相关操作 任务 操作步骤 查询导出OBS任务 在搜索框中输入搜索条件,即可查询。单击任务名称进入任务详情,在详情里可以查看导出的参数和任务日志。 删除导出OBS任务
日志 选择操作栏中的“更多 > 日志”,界面跳转至日志列表,在日志列表可查看或者下载日志。 导出 选择操作栏中的“更多 > 导出”,导出待发布区域的数据,具体请参考导出任务。 上传文件 本地数据集且状态为中断或初始化,单击“上传文件”上传文件。 停止 选择操作栏中的“更多 > 停止”,停止正在运行或停止中的任务。
模型微调 2D图像生成 2D预标注 智驾模型管理 镜像仓库 Octopus平台各服务均提供用户自定义镜像功能,镜像仓库管理模块对镜像提供了统一管理。 创建镜像仓库 制作镜像(数据集) 制作镜像(标注) 制作镜像(训练) 制作镜像(仿真) 运维配置 运维配置提供集群纳管,由平台管理员账号进行管理和配置。
单击标签后的,可对标签的名称进行修改。 删除标签 单击标签后的,可删除标签或其子节点标签。 说明: 平台预置场景标签暂不支持编辑、删除。 导出标签 单击根标签后的,可导出标签至本地。 搜索标签 在搜索框输入搜索内容,可模糊搜索标签。 多项搜索:可根据需要决定是否启用多项搜索,输入多个关键字,中间用“;”隔开,可搜索多个关键字。