检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更新管理 Octopus支持定期更新或修补OS、应用程序证书、漏洞和配置。建议用户定期更新账户密码。 镜像更新升级: Octopus包含数据资产、数据处理、标注服务、训练服务、仿真服务等功能模块,各模块采用统一的流程提供基础镜像。这些镜像会不定期更新升级,修复已知漏洞。
镜像用途 选择镜像用途。 用途为“训练”时:训练/评测 用途为“标注”时:预标注、预审核 镜像仓库 选择镜像仓库以及版本。 共享级别 选择镜像仓库共享级别。 个人:当前操作用户。
步骤三:创建评测 Octopus支持自定义内置评测配置和自定义评测镜像,并根据评测指标或评测镜像对仿真算法开展评测。 本节以创建内置评测配置为例。 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”,填写基本信息。
作业输入输出规范示例代码如下图所示: 图2 示例代码 构建镜像 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例。
同时支持访问同区域自己的对象存储或外网资源,进行测试数据的导入、开源代码的拉取、三方依赖的安装等操作。极大的提升了算法调试的效率,并保证了和训练任务所使用的的环境和算力的一致性。
被任务使用的评测项目和镜像不能删除。 以上信息选择无误后,单击“保存”,评测指标编辑完成。 父主题: 评测管理
对于镜像类型的资产,Octopus会将资产保存在Octopus官方的SWR仓库内。 对于用户提供的一些个人信息,Octopus会保存在数据库中。 父主题: 安全
获取并配置算法实际资源占用 创建仿真算法时,需要填写算法镜像占用的CPU以及内存。这个将影响批量仿真子任务的资源调度,在相同资源情况下,算法资源配置越高,同时运行的任务数越少,因此尽可能配置实际资源占用,可以提高集群的利用效率。
图1 Octopus仿真服务全流程 表1 使用流程说明 流程 子任务 说明 详细指导 镜像仓库 镜像仓库 平台为用户提供了自定义镜像功能,为了方便用户对镜像进行统一管理,平台设置了镜像仓库管理。
运行镜像 选择镜像仓库中已创建好的镜像。 镜像版本 选择镜像版本。 启动命令 镜像的启动命令,具体命令根据镜像启动脚本确定,例如“python3 main.py”。 输出类型 可选择“数据标记”,“数据集”,“数据回放”,“回放仿真”,“数据图表”和“数据脱敏”。
表1 API概览 类型 说明 镜像仓库 包括获取镜像仓库列表、创建镜像仓库、修改镜像仓库、删除镜像仓库的接口。 镜像版本 包括获取镜像仓库版本列表、创建镜像仓库版本、获取镜像仓库版本详情、删除镜像仓库版本、更新镜像仓库版本状态、创建镜像仓库版本操作账号的接口。
编译镜像 选择编译镜像,需提前创建编译镜像。 参数列表 由编译镜像携带,参数名不支持修改,参数值支持修改。 环境变量 由编译镜像携带,参数名不支持修改,参数值支持修改。 模型 选择待编译模型和版本,模型可以为训练任务产生的模型版本或者通过本地模型文件上传产生的模型版本。
模型评测 编译镜像 编译镜像可以将训练模型转换为特定芯片支持的可识别的文件,编译镜像模块支持对编译镜像的增加、查询、删除以及编辑操作。 编译镜像 编译任务 训练产生的模型版本,不可直接被车载芯片识别,需要经过编译工具,将训练产生的模型编译成车载芯片识别的模型。
自定义镜像 选择已创建的镜像以及镜像版本。 启动脚本路径 选择脚本的启动文件路径,文件路径为在脚本中的相对路径,当前只支持.py类型的启动文件,如/root/dataset.py。 选择文件 选择已准备好的本地文件上传。
运行镜像 可选择镜像仓库中已创建好的镜像。 镜像版本 选择镜像版本。 启动命令 镜像的启动命令,具体命令根据镜像启动脚本确定,例如“python3 main.py”。可以参考算子示例中各算子的启动命令。
图2 每个Tag格式示例 图3 task_content_json示例 示例代码 作业输入输出规范示例代码如下图所示: 图4 示例1 图5 示例2 构建镜像 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH
运行镜像:可选择镜像仓库中已创建好的镜像。 镜像版本:选择镜像版本。 启动命令:请输入启动文件地址。 数据类型:此处只支持选择“数据脱敏”。对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。 单击“确认”,即可创建一个脱敏算子。
仿真器来源 可选择“内置仿真器”和“仿真器镜像”。 仿真器配置文件 单击“编辑”,展开仿真器配置文件编辑窗,支持自定义仿真器配置文件。 仿真器镜像 选择仿真器镜像时,需要选择仿真器镜像配置。 仿真器版本 选择仿真器镜像时,选择仿真器镜像后,需要配置仿真器版本。 算法配置。
仿真器来源 可选择“内置仿真器”和“仿真器镜像”。 仿真器配置文件 单击“编辑”,展开仿真器配置文件编辑窗,支持自定义仿真器配置文件。 仿真器镜像 仿真器来源为仿真器镜像时,需要选择仿真器镜像配置。 仿真器版本 仿真器来源为仿真器镜像时,选择仿真器镜像后,需要配置仿真器版本。
图1 在线仿真软件播放按钮 恢复系统镜像至所需版本。 在线仿真机器,提供了系统镜像的备份、恢复、删除功能。 建议在环境配置稳定后,备份一个初始版本,并根据实际业务需要,定期备份系统镜像,以保障业务稳定和数据安全。 父主题: 仿真服务常见问题