检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练算法 添加自定义算法 添加自定义算法流程为“初始化训练算法 > 选择训练算法文件 > 上传训练算法文件”。具体操作步骤如下: 在左侧菜单栏中单击“训练服务 > 算法管理”。 单击“新建训练算法”,填写算法基本信息。 图1 新建训练算法 名称:包含中英文、数字、“_”“-”,不得超过64个字符。
采样方式有几种? 蒙特卡洛采样 蒙特卡洛采样是一种简单的随机抽样,根据概率分布进行采样,如对样本服从µ=0,δ=1的正态分布,通过通过蒙特卡洛采样进行采样,采样得到的点能满足正态分布要求,但如下图所示,采样得到的点会集中µ=0附近,要想采样得到更边界的点,需要进行大量采样。 图1
训练算法 平台支持算法创建。用户可通过指定算法的运行镜像和上传符合平台规范的算法文件来完成算法的创建,创建的算法可用于训练任务中。创建训练算法时可根据算法类型单独上传训练文件或将训练文件放置在镜像中,通过选择对应镜像时获取算法文件。 添加算法 准备数据。 准备用途为“训练/评测”的镜像和版本,详情可参考镜像仓库。
用户自定义镜像必须满足用户目录/home/ma-user权限为750,不能为其他权限; 用户自定义镜像使用远程SSH功能,OpenSSH版本要兼容或高于8.0; 用户制作的自定义镜像,在本地执行docker run启动,无法正常运行; 用户自行安装了Jupyterlab服务导致冲突
智驾模型简介 通过与AI模型、大模型的结合,提供高精度自动标注能力,大幅度降低传统人工标注数据真值的成本。提供场景数据集生成能力,帮助自动驾驶模型训练快速扩充数据集,低成本获取难例数据集。提供多模态场景理解和检索能力,帮助客户在海量样本库快速、智能的分类和检索。 智驾模型授权操作步骤
#文本标注信息 "start_idx": 1, #标注起始偏移量 "end_idx": 3 #标注结束偏移量 }, "label_meta_name": "人物" #标注物名称
模型仓库 模型仓库介绍 模型管理模块支持以模型仓库的方式对模型进行纳管和归档,每个模型仓库中又可以创建若干个模型版本,方便对同类模型统一管理。 模型包含镜像和文件两部分。其中镜像与模型仓库绑定,也就是说同一个模型仓库的版本共享一个镜像;文件存储在对象存储(OBS)中, 各个版本的文件一般不同。
采样方式介绍 蒙特卡洛采样 蒙特卡洛采样是一种简单的随机抽样,根据概率分布进行采样,如对样本服从µ=0,δ=1的正态分布,通过蒙特卡洛采样进行采样,采样得到的点能满足正态分布要求,如下图所示,采样得到的点会集中µ=0附近,要想采样得到更边界的点,需要进行大量采样。 图1 蒙特卡洛采样
增加并行任务数,产生的费用。 合规脱敏费用 合规脱敏费用是指使用合规脱敏扩展包处理数据量所产生的费用。 表3 合规脱敏计费项说明 计费项 计费模式 计费说明 计费公式 合规脱敏 按需计费 使用模型处理脱敏数据量进行收费。 按需计费:规格单价 * TB 智驾模型微调费用 模型费用是在使用智
基本概念 抽帧 抽帧是将解压后的数据包,抽出单幅画面,生成图片数据或者视频数据。 自动驾驶汽车在进行测试时会产生大量数据,车企需要对这些数据高效处理与分析,因此在进行自动驾驶研究时需要对这些原始数据有选择性、针对性地进行提取和分析,抽帧便是一种筛选数据的方式。针对数据类型,Oct
评测脚本 在机器学习中,通常需要使用一定的方法和标准,来评测一个模型的预测精确度。自动驾驶领域通常涉及目标检测、语义分割、车道线检测等类别,如识别车辆、行人、可行区域等对象。 Octopus平台提供评测脚本管理功能,支持用户创建、删除、编辑、在线编辑、查询评测脚本等功能。 创建评测脚本
PUSH_FAILED(创建失败) limit 否 Integer 返回个数上限 最小值:1 最大值:100 缺省值:10 offset 否 Integer 查询偏移量 最小值:0 缺省值:0 visibility 否 String 使用范围 枚举值: TEAM(团队) PUBLIC(公开) 请求参数 表3
套餐包:一种预付费模式,即先付费再使用,您可以根据实际需求购买套餐包获取更多的优惠。 按需计费:一种后付费模式,即先使用再付费,按照实际使用次数、处理数据量进行结算。 表1 计费模式说明 计费模式 包年/包月 套餐包 按需计费 付费方式 预付费 预付费 后付费 计费周期 按订单的实际购买时长计费。
模板管理 在进行自动驾驶模型训练过程中需要大量有标签的图片或视频数据,因此在模型训练之前需要对处理完的数据进行各类标注,进行场景识别。Octopus提供预标注功能,支持部分预标注模型,能够节省70%的人力成本。也提供人工标注功能,用户可以针对未标注数据在线手动标注或预标注后人工确
使用流程 Octopus平台提供了从“数据准备 → 标注数据 → 训练模型 → 仿真任务”的全流程开发,针对每个环节,其使用是相对独立自由的。本章节梳理了Octopus使用流程详解,此文档介绍其中一种方式完成自动驾驶开发。 图1 Octopus的使用流程 表1 使用流程说明 流程
Octopus平台通过对象存储导入数据,用户需先将数据包上传至对象存储桶(可自定义)中,再导入到Octopus平台。上传速率快,适合上传大数据量(超过2G)的数据包。 对象存储数据导入 数据处理 根据自定义数据服务算子,对数据包进行处理,创建不同类型的作业。 创建作业 新建算子 回放仿真
project_id 是 String 项目id 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 查询偏移量 最小值:0 缺省值:0 limit 否 Integer 返回个数上限 最小值:1 最大值:200 缺省值:10 usage 否 String
ce-mounts/等挂载到容器中的目录内容。 建议保存镜像前停止活跃进程和I/O操作。避免因资源占用和冲突等原因导致保存镜像失败。 建议要保存的镜像大小不要超过35GB,最大不能超过50GB,避免因容器引擎的限制导致保存失败。 镜像保存一般需要3-10分钟,届时实例状态处于“快
据脱敏。 节点规格:下拉选择,为新建的资源规格定上限,确保资源规格有节点适配,根据用途从集群中查询。 资源规格: 填写资源用途所需要的资源量,各任务推荐最小资源规格如下,用户可在节点规格范围内灵活配置。 表1 资源规格 资源用途 规格 数据转换 1Core_1GiB、1Gpu_2Core_4GiB