检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据导入 对象存储导入数据 把原始数据上传至平台前,可将数据包上传至对象存储中,从对象存储导入平台。操作步骤如下: 在左侧菜单栏中,单击“数据处理 > 数据批导”。 选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。
数据缓存 提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 在数据集列表(数据资产 > 数据集)中,单击操作栏中的“缓存加速”。 在数据缓存界面出现缓存的数据。 父主题: 数据资产
通用存储详情 在左侧菜单栏中,单击“数据存储 > 通用存储”。 选择“通用存储”页签,单击目录名称,进入通用存储详情页。 存储数据:显示在此仓库中所有的数据。 表2 存储数据相关操作 任务 操作步骤 查看文件详情 单击“文件名称”,显示对应文件的详细信息。
数据格式:可选择“Octopus”、“USER_DEFINE”或自定义格式。 标注状态:设置标注状态,支持“未标注”和“已标注”。 通用存储:选择通用存储。 单击“下一步”,添加数据,并勾选“我已阅读并同意《八爪鱼自动驾驶云服务声明》”。
数据类型:选择“数据包”。 选择数据:选择需要操作的数据包中的数据。 输出目录:选择可输出的通用存储的目录。 单击“创建”, 在作业总览页面可查看创建好的作业。 父主题: 数据处理
通用存储 通用存储 自定义属性 父主题: 数据资产
存储目录 选择存储目录。 抽帧结果是否生成数据集 可根据需要,选择抽帧结果是否生成数据集。 名称 简要描述场景,只能包含数字、英文、中文、下划线、中划线。 描述 简要描述数据集,不包含“@#$%^&*< > \”,不超过256个字符。
数据保护技术 Octopus通过多种数据保护手段和特性,保障存储在Octopus中的数据安全可靠。 表1 表1 多种数据保护手段 数据保护手段 简要说明 传输加密(HTTPS) 支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。
对象存储目录* 建议对象存储目录选择包含“Rosbag包和与数据包同名yaml”文件夹的上一级目录。 数据包筛选* 数据包需包含符合平台要求的传感器数据文件。详细请参考上传数据格式。平台最多支持不超过10个有效数据包。
对象存储导入数据:用户需先将数据包上传至对象存储桶(可自定义)中,再导入到Octopus平台。上传速率快,适合上传大数据量(超过2G)的数据包。 单个数据包时长均不可超过10分钟。 目前MP4文件只支持对象存储导入。
数据来源为数据集子集 当数据集形式为数据集子集时,创建步骤如下: 在左侧菜单栏中单击“数据资产 > 数据集”。 选择“数据集”页签,单击“创建数据集”,填写数据集信息。 图1 创建数据集子集 名称:不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
数据缓存:提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 模型管理:负责对模型仓库和模型版本进行各种操作,模型仓库可包含多个模型版本,支持上传符合平台规范的模型用于标注或训练任务。 通用存储:支持创建通用存储,用于数据存储。 父主题: 数据资产
数据总览 在数据总览页面可查看平台数据服务的统计数据,帮助用户快速了解各项数据关键指标和业务的健康情况。 进入总览数据页面: 登录Octopus服务平台,在左侧菜单栏中单击“数据资产 > 数据总览”。
合规数据ID:展示选择数据包的ID。 单击“创建”,执行数据包脱敏任务。脱敏完成后,数据包状态变为脱敏完成。 父主题: 数据合规
数据提取作业(数据集) 作业输入输出规范 示例代码 构建镜像 父主题: 算子示例
数据回放 获取数据片段统计 获取数据片段列表 数据片段详情 获取数据包topic回放索引 获取数据包topic回放数据临时链接 创建回放转仿真场景作业 查询回放转仿真场景作业状态 父主题: API
数据场景 获取数据场景片段列表 创建数据场景片段 删除数据场景片段 父主题: API
数据导入 表1 数据导入权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 获取导入任务列表 GET /v1.0/{project_id}/data/import-records octopus:dataImportRecord
数据总览 表1 数据总览权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据服务总览 GET /v1.0/{project_id}/data/overview octopus:dataOverview
数据场景 Octopus平台处理完原始采集数据后,平台支持内置和自定义场景挖掘算法,可自动提取对应场景行为的片段,展示在数据场景模块中。用户可将其生成单个仿真场景片段,为后续仿真开发做准备。