检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在CCE中安装部署Jenkins 在CCE中安装部署Jenkins方案概述 资源和成本规划 实施步骤 父主题: DevOps
以上信息填写无误后,单击“确认”。 脚本管理相关操作 在标注脚本列表,还可以进行以下操作。 表1 脚本管理相关操作 任务 操作步骤 编辑标注脚本 单击操作栏内的“编辑”,即可修改标注脚本信息。 删除标注脚本 单击操作栏的“删除”,删除单个标注脚本。 勾选多个标注脚本,单击列表上方的“删除”,可批量删除标注脚本。
创建评测脚本 添加评测脚本流程为“初始化评测脚本 > 选择评测脚本文件 > 上传评测脚本文件”。具体操作步骤如下: 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评测脚本”页签,单击“新建评测脚本”,填写脚本信息。 图1 新建评测脚本 名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。
等信息。 评测脚本相关操作 在“评测脚本”列表,可对脚本进行以下操作。 表1 评测脚本相关操作 任务 操作步骤 查找脚本 在搜索输入框中输入搜索条件,按回车键即可查询。 查看脚本详情 单击脚本名称,查看脚本详情。 删除脚本 单击操作栏的“更多 > 删除”,删除脚本。 说明: 在使用中的评测脚本不能被删除。
Jenkins Master安装部署 Jenkins界面中的词条可能因版本不同而存在一些差异,例如中英文不同等,本文中的截图仅供您参考。
如果您选择单Master安装Jenkins,执行完毕Jenkins Master安装部署中的操作后已完成,可直接进行流水线构建,请参见使用Jenkins构建流水线。
例如,shell脚本(文本文件)描述如何自动执行command命令,AOS模板也一样,用来描述各种云对象的创建、销毁等流程。 以Shell脚本为例,其执行逻辑如下: Shell脚本特点大致为: 脚本是一个文本文件。 如果脚本写的好,可以重复执行。
图1 K8s安装Jenkins架构 操作流程 Jenkins Master安装部署。 Jenkins Master使用容器化镜像部署在CCE集群中。 Jenkins Agent配置。
基于弹性云服务器安装及部署Jenkins 准备工作 在安装Jenkins之前,需要购买弹性云服务器(推荐配置:4GB+内存,40GB+硬盘),操作系统选择CentOS 7.6。同时购买弹性公网IP,绑定到购买的弹性云服务器上。
Jenkins安装与配置 部署jenkins.war 删除tomcat-tomcat8/webapps/ 里面所有项目文件 rm -rf /root/servers/jenkins-tomcat8/webapps/* 复制jenkins.war到/root/servers/jenkins-tomcat8
GitLab自动触发Jenkins构建 GitLab触发Jenkins构建,有以下两种方式: 方式一:通过配置好的Webhook来Push events,触发Jenkins构建任务。 方式二:修改构建配置指定分支的文件来Push events,触发Jenkins构建任务。
Jenkins流水线支持多组件按照依赖顺序部署 概述 前提条件 操作步骤
Gitlab自动触发Jenkins构建 Gitlab触发Jenkins构建有以下两种方式: 通过配置好的Webhook来Push events,触发Jenkins构建任务。 修改构建配置指定分支的文件来Push events,触发Jenkins构建任务。
单击操作栏“增量训练”,即可跳转到新建训练任务界面,进行增量训练。 部署模型版本 单击操作栏“部署”,打开部署弹出框,默认选中当前模型版本,部署推理服务。部署任务下发成功后,可以到“训练服务”>“推理服务”,查看部署状态。了解部署推理服务参数信息请查看新建推理服务。 说明: 支持部署的模型要求: 模型仓库用途为训练
状态为“队列中”进行查看,此处以预标注为例。 标注脚本:选择创建好的标注脚本。 标注物:预标注模板关联模型,最终调用模型关联的镜像仓库,镜像由用户自行维护上传。 资源规格:当前项目中可用的资源规格,资源规格需要平台管理员在运维配置纳管标注任务用途(预标注)的作业集群后创建。 优先级:设定任务的优先级,数值取[-50
自动驾驶云服务全流程开发 使用流程 准备工作 数据处理 标注服务 训练服务 仿真服务
选择镜像仓库 芯片名称:包含中英文、数字、“_”“-”,不得超过64个字符 选择镜像仓库:请选择镜像仓库和版本。 配置镜像参数。 需要指定Boot文件路径,填写镜像参数。 图3 配置镜像参数 Boot文件路径 Boot文件路径为在编译镜像中的绝对路径,比如/home/service/ba
单击子任务操作栏中的“更多 > 审核”,配置审核配置。 表1 审核配置参数 参数 说明 任务名称 由“批次子任务名称-任务名称”组成,批次子任务名称不可修改,任务名称可自定义。 审核比例 预审核默认比例为100。 审核模型 选择审核模型和版本。 标注脚本 选择标注脚本。 资源规格 当前项目中可用的资源规格。
选择自定义评测和内置指标评测(“自定义评测”和“内置指标评测”至少选择一项)。 图3 选择自定义评测和内置指标评测 自定义评测: 评测脚本:可选,如果用户有其他自定义评测脚本,可勾选该项将选择的脚本路径挂载至容器内部,用户可使用${SCRIPT}进行引用。 评测启动指令:用户指定自定义评测的启动命令,根据用户选择注入以下环境变量:
仿真任务 任务配置 创建仿真任务配置时需要完成基本配置、算法配置,评测项配置和选择场景几部分的内容。创建任务配置的步骤可参考如下: 在左侧菜单栏中单击“仿真服务 > 并行仿真”。 选择“任务配置”页签,单击“新建任务配置”,参考下表配置仿真任务基本信息。 图1 创建任务配置 表1 仿真任务配置基础信息说明
标注服务 创建团队 创建项目 添加批次任务 标注流程 父主题: 自动驾驶云服务全流程开发
Value:只能由英文、数字和特殊符号(\/,.[]-_)组成 。长度不超过512个字符。 参数命令 参数命令为运行启动脚本的shell命令,由配置的“Boot文件路径”和“参数列表中参数及参数值”自动生成,例如: main.py --total_epoches=3 --img_size=[1333
当前账号已完成访问授权的配置。华为云账号已满足要求,如果需要进行精细的权限管理,请参考创建用户并授权使用服务。 已完成八爪鱼自动驾驶云服务公测申请。如未完成,请参考申请公测。 已购买八爪鱼自动驾驶云服务。如未完成,请参考购买开通Octopus服务。 父主题: 自动驾驶云服务全流程开发
训练模型 → 仿真任务”的全流程开发,针对每个环节,其使用是相对独立自由的。本章节梳理了Octopus使用流程详解,此文档介绍其中一种方式完成自动驾驶开发。 图1 Octopus的使用流程 表1 使用流程说明 流程 子任务 说明 详细指导 数据准备 创建算子 基于您的业务数据,您可以在Octopus中创建数据处理的算子。
模型评测 创建评测脚本 创建评测任务 父主题: 训练服务
团队:该模板当前工作空间下被授权的用户均可见。 运行镜像 可选择镜像仓库中已创建好的镜像。 镜像版本 选择镜像版本。 启动命令 镜像的启动命令,具体命令根据镜像启动脚本确定,例如“python3 main.py”。可以参考算子示例中各算子的启动命令。 输出类型 可选择“数据标记”,“数据集”,“数据回放”
训练服务模块上承接数据服务和标注服务两大模块,为自动驾驶研发提供方便易用的模型训练和评测平台,让用户无需过多关注底层资源,聚焦算法和模型开发。用户可上传符合Octopus平台规范的训练算法,将成熟的算法创建训练任务生成训练模型。此外,训练服务提供多种模型评测指标,从多维度衡量模型质量。让自动驾驶研发更便捷。训练服务的开发流程如下:
训练服务 训练算法 模型评测 编译镜像 编译任务 父主题: 自动驾驶云服务全流程开发
其他权限 团队管理员的其他管理权限步骤与平台管理员一致,具体请参考以下: 标注物管理请参考标注管理。 标注模板管理请参考模板管理。 标注脚本管理请参考脚本管理。 父主题: 团队管理员
智驾模型服务 镜像仓库 运维配置 工作空间 功能架构 自动驾驶云服务(Octopus)是一个一站式的开发平台,能够支撑开发者从数据收集到仿真应用的全流程开发过程。整体由数据资产、数据服务、标注服务、训练服务、仿真服务、智驾模型服务、公共配置管理组成。 数据资产 在自动驾驶产品的开发过程中