检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“作业总览”页签,单击“创建作业”。 图1 创建作业 处理算子:根据需要选择算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。
10011:获取实例资源异常,106:创建容器配置失败,107:镜像拉取失败,108:无效镜像,109:容器启动异常,110:创建容器失败,111:未选择数据仓库,201:数据包不存在,202:资源不可用,203:数据包类型异常,204:数据包状态不符合要求,205:场景片段不存在或源文件不存在,206:数据来源与算子类型不匹配
抽帧结束时间,UTC标准时间毫秒时间戳 最小值:1000000000000 最大值:2000000000000 warehouse_id 是 String 抽帧结果放入的数据仓库id dataset_id 否 String 抽帧结果放入的数据集id 最大长度:36 topics 是 Array of strings
在模型文件部分,选择文件上传的方式,填写版本描述。 图5 上传模型文件 表1 模型文件相关参数说明 文件类型 上传方式 模型版本描述 说明 打开 本地文件夹形式上传 是 需要用户先准备好模型包,具体要求请参见模型文件说明。 关闭 无需上传 否 空模型。 单击“初始化”,完成模型仓库的创建。 查看模型仓库详情。
图1 创建作业 处理算子:根据需要选择回放仿真算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 数据类型:选择“数据包”。 选择数据:选择需要操作的数据包中的数据。 输出目录:选择可输出的通用存储的名称。
批导数据 原始数据采集完毕之后,需要将原始数据转换成适合Octopus平台的数据格式,以便于更快速地完成数据处理。 创建数据导入任务 在左侧菜单栏中,单击“数据处理 > 数据批导”。 选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所
请检查数据包状态或解除标签引用 409 octopus.101006 Tag Used In Data Warehouse 标签被数据仓库引用 请删除数据仓库或解除标签引用 409 octopus.102005 Can not restore deleted failed package
必须是满足ASCII码的字符串。 不能包含特殊字符\@#$%^&*<>。 不能超过255个字符。 关键字:根据需要填写算法启动关键字。 CPU:输入CPU核数。 内存:输入内存大小。 如果需要使用关键字功能,请确保算法程序可以在前台(stdout)打印该日志。建议使用日志库实现输出,如果使用
必须是满足ASCII码的字符串。 不能包含特殊字符\@#$%^&*<>。 不能超过255个字符。 关键字:根据需要填写算法启动关键字。 CPU:输入CPU核数。 内存:输入内存大小。 如果需要使用关键字功能,请确保算法程序可以在前台(stdout)打印该日志。建议使用日志库实现输出,如果使用
选择“数据脱敏 > 作业总览”页签,单击“创建作业”。 完成创建作业任务信息。 图1 创建作业 处理算子:根据需要选择脱敏算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。
权限及授权项说明 如果您需要对您所拥有的Octopus进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用Octopus服务的其它功能。
在“数据集”列表,单击数据集名称,进入数据集详情界面。 数据详情。 数据详细包含了数据集ID、名称、描述的信息。 图1 数据详情 数据预览。 可根据需要选择不同版本,选择路径,预览数据。 图2 数据预览 预览点云数据时,支持放大、缩小、旋转点云图片。 图3 预览图片 待发布区。 图4 待发布区
output_dir:最终输出数据集路径。 tmp_dir:供用户存储临时文件的目录。 task_content_json:人工打标需要的标签信息,详细参考“人工打标支持”。(如果没有人工打标,不需要此参数)。 Output 对于output_dir的格式限定如下: 必须有output_dir/datas
镜像仓库 表1 镜像仓库权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 获取镜像仓库列表 GET /v1.0/{project_id}/common/image-registry/image-repos
镜像仓库 获取镜像仓库列表 创建镜像仓库 修改镜像仓库 删除镜像仓库 父主题: API
镜像仓库 镜像仓库 镜像制作(数据集) 镜像制作(标注) 镜像制作(训练) 镜像制作(仿真)
镜像仓库 Octopus平台各服务均提供用户自定义镜像功能,镜像仓库管理模块对镜像提供了统一管理。 创建镜像仓库 用平台管理员账号登录Octopus平台。 在左侧菜单栏中,单击“镜像仓库 ”。 单击“新建”,填写基本信息。 图1 创建镜像仓库 名称:输入镜像仓库的名称,只能包含数字、英文、中文、下划线、中划线。
模板管理 在进行自动驾驶模型训练过程中需要大量有标签的图片或视频数据,因此在模型训练之前需要对处理完的数据进行各类标注,进行场景识别。Octopus提供预标注功能,支持部分预标注模型,能够节省70%的人力成本。也提供人工标注功能,用户可以针对未标注数据在线手动标注或预标注后人工确
在线仿真配置 使用在线仿真器,需要用户进行一些单独配置。 关闭锁屏。 图1 关闭锁屏 调整屏幕分辨率。 图2 调整屏幕分辨率 修改默认浏览器(改成chrome或firefox,使用KDE自带的Konqueror目前有兼容问题)。 图3 修改默认浏览器 父主题: 在线仿真
抽帧是将解压后的Rosbag数据,抽出单幅画面,生成图片数据或者视频数据。 自动驾驶汽车在进行测试时会产生大量数据,车企需要对这些数据高效处理与分析,因此在进行自动驾驶研究时需要对这些原始数据有选择性、针对性地进行提取和分析,抽帧便是一种筛选数据的方式。针对数据类型,Octopus将抽帧任务分为图片抽帧和点云抽帧。