检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型评测 创建评测脚本 创建评测任务 父主题: 训练服务
智驾模型管理 智驾模型微调后,需要对模型进行评测,并把模型部署到环境上进行推理,方便用户使用自己的数据训练得到专属模型进行推理,及比对训练效果。 智驾模型 在线服务 父主题: 智驾模型服务
开通智驾模型微调服务 在使用智驾模型服务模型微调功能之前,需先开通智驾模型微调服务。开通后,当模型微调状态为“运行中”,会根据创建模型微调任务时选择的资源按需计费。 开通服务 登录Octopus服务平台,在左侧菜单栏中单击“总览”。 在“模型微调”模块,单击操作栏中的“开通服务”。
在线服务 微调后的迭代模型创建在线服务,进行推理,查看预测效果。每类迭代模型,只能同时运行一个在线服务,如果已经存在“运行中”的在线服务,将无法继续创建该类在线服务。 创建在线服务 在左侧菜单栏中选择“智驾模型服务 > 智驾模型管理”。 选择“在线服务”页签,单击“创建在线服务”。
领域模型设计 以下为4个种子场景可以泛化的参数及范围,请确保在编写odr文件时各参数在以下描述范围内。 straight城区直行 merge匝道合流 split匝道分流 junction路口 one_way_junction单行线路口 父主题: 静态场景(地图)
智驾模型服务 智驾模型简介 多模态检索 模型微调 场景识别 2D图像生成 2D预标注 3D预标注 3D预标注车道线检测 服务监控 智驾模型管理
到新数据集中。数据集各属性沿用原始评测数据集,例如“数据类型”、“标注状态”、“数据格式”等。 评测结果 显示模型的评测结果,例如“模型评测结果字典.json”和“模型评测报告.pdf”,可在线查看或下载至本地查看。 图7 评测结果 用户输出评测结果,如果需创建PDF可视化报告需
在服务控制台“总览”>“我的模型”区域,开通“场景识别”服务,具体操作步骤请参考开通我的模型和购买套餐包。 完成OBS授权委托,具体操作步骤请参考授权操作步骤。在服务控制台“总览”>“我的模型”区域,开通“2D图像生成”服务,具体操作步骤请参考开通我的模型和购买套餐包。 操作步骤
资源规格:当前项目中可用的资源规格,资源规格需要平台管理员在纳管模型评测用途的任务作业集群后创建。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 选择模型与数据集 图2 选择模型与数据集 选择模型:选择模型仓库和对应的模型版本,如果需要将模型对应的原始算法也挂载到用户评测容器
保存文件:单击"保存",保存当前脚本。脚本更新完毕请及时保存。 评测脚本使用说明: 模型路径通过环境变量{MODEL}获取,用户在评测过程中需要选择该模型,需要注意的是,以上环境变量仅指明模型文件夹,具体选择模型需用户指定,例如使用os.path.join拼接,或者使用os.listdir查找选择
多模态检索通过大模型算法,对用户视频库进行特征提取,再通过多模态视频检索功能,检索出满足文本或者视频搜索条件的视频片段。 前提条件 在服务控制台“总览”>“我的模型”区域,开通“多模态检索”服务,具体操作步骤请参考开通我的模型和购买套餐包。 视频库配置 在左侧菜单栏中单击“智驾模型服务 >
效图片。 终止模型生成2D图像 单击操作栏的“终止”,即可终止状态为“执行中”的模型。 删除模型生成的2D图像 单击操作栏的“删除”,即可删除模型生成的2D图像信息。 说明: 删除后无法恢复,请谨慎操作。(OBS中的图片数据需用户手动清理。)。 父主题: 智驾模型服务
预标注 标注类型:预标注,该标注模板用于预标注任务。 数据类型:根据模板包含的样本类型选择图片、3D点云、音频或文本。 模型来源:根据模型的来源来选择。 标注模型:选择模型和版本。 模板标注物:展示模板标注物。 已选标注物:展示已选标注物。 标注:从下拉框中选择符合用户业务所需的标注物
开通我的模型和购买套餐包 在使用智驾模型服务场景识别、2D图像生成、2D预标注、3D预标注等功能之前,需先开通我的模型。开通后,我的模型是根据API调用次数收取费用,推荐您购买模型套餐包,价格比按需计费模式更优惠。开通服务和购买套餐包之后,您可以在“我的模型”区域查看开通状态和套餐包使用情况。
训练服务模块上承接数据服务和标注服务两大模块,为自动驾驶研发提供方便易用的模型训练和评测平台,让用户无需过多关注底层资源,聚焦算法和模型开发。用户可上传符合Octopus平台规范的训练算法,将成熟的算法创建训练任务生成训练模型。此外,训练服务提供多种模型评测指标,从多维度衡量模型质量。让自动驾驶研发更便捷。训练服务的开发流程如下:
量、调用成功量、调用失败量。 在左侧菜单栏中单击“智驾模型服务”。 选择“服务监控”页签,按需求选择产品、监控项以及时间段。 界面以曲线图的形式显示API的总调用量、调用成功量、调用失败量。 图1 服务监控 父主题: 智驾模型服务
评测任务 创建任务 评测结果 父主题: 模型评测
单帧识别 前提条件 在服务控制台“总览”>“我的模型”区域,开通“场景识别”服务,具体操作步骤请参考开通我的模型和购买套餐包。 操作步骤 在左侧菜单栏中单击“智驾模型服务”>“场景识别” 。 选择“单帧识别”页签,单击右上角“添加文件”。 在“文件上传”弹出框中,单击“添加文件”
评测对比 创建评测对比任务 平台支持创建2-4个评测任务结果对比。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评测对比”页签,单击“新建评测对比”,填写基本信息。 图1 新建评测对比 名称:对比任务名称,只能包含数字、英文、中文、下划线、中划线。 描述:简要描述任务,
场景识别 单帧识别 多帧识别 父主题: 智驾模型服务