检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据缓存 提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 在数据集列表(数据资产 > 数据集)中,单击操作栏中的“缓存加速”。 在数据缓存界面出现缓存的数据。 父主题: 数据资产
数据来源为数据集 根据数据来源不同,可分为以下四种形式创建数据集。 本地 在左侧菜单栏中单击“数据资产 > 数据集 ”。 选择“数据集”页签,单击“创建数据集”,填写数据集信息。 图1 创建数据集 名称:不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。 描述
数据导入 获取导入任务列表 创建数据包导入任务 获取导入任务详情 删除导入任务 启动数据导入任务 父主题: API
数据回放 获取数据片段统计 获取数据片段列表 数据片段详情 获取数据包topic回放索引 获取数据包topic回放数据临时链接 创建回放转仿真场景作业 查询回放转仿真场景作业状态 父主题: API
数据场景 获取数据场景片段列表 创建数据场景片段 删除数据场景片段 父主题: API
数据提取作业(数据集) 作业输入输出规范 示例代码 构建镜像 父主题: 算子示例
数据总览 获取数据服务总览 获取轨迹统计 父主题: API
数据导入 表1 数据导入权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 获取导入任务列表 GET /v1.0/{project_id}/data/import-records octopus:
数据总览 表1 数据总览权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据服务总览 GET /v1.0/{project_id}/data/overview octopus:dataOverview:get
在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 状态是待脱敏或者脱敏中的数据包不能运行数据回放类型的作业。 数据包类型必须是Rosbag类型。 当选择数据集算子时,数据类型可支持选择通用存储和数据场景。
查看源数据包 原始数据包含车辆采集的各类传感器数据信息,数据导入任务创建完毕后,平台对数据包进行扫描,此模块展示导入成功的数据包。 数据包列表 在左侧菜单栏中,单击“数据资产 > 源数据包”。 选择“数据包”页签,默认显示数据包列表。 图1 数据包列表 表1 数据包列表相关操作 任务
数据来源为数据集子集 当数据集形式为数据集子集时,创建步骤如下: 在左侧菜单栏中单击“数据资产 > 数据集”。 选择“数据集”页签,单击“创建数据集”,填写数据集信息。 图1 创建数据集子集 名称:不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。 描述:数据
场景挖掘 平台支持基于内置场景挖掘算法和场景识别大模型挖掘的能力,对数据包进行场景挖掘。具体操作步骤如下: 在左侧菜单栏中,单击“数据资产 > 源数据包”。 选择“数据包”页签,单击操作栏中的“详情”,进入数据包详情页。 单击数据包信息的“场景挖掘”,后台会自动进行内置场景挖掘。
数据回放 表1 数据回放权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据片段统计 GET /v1.0/{project_id}/data/episodes/statistics octopus:dataReplay:get
数据场景 表1 数据场景权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据场景片段列表 GET /v1.0/{project_id}/data/scenario/segments oct
创建。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 数据类型:选择“数据包”。 选择数据:选择需要操作的数据包中的数据。 输出目录:选择可输出的通用存储的名称。 单击“创建”, 在任务管理页面可查看创建好的作业。 回放仿真作业相关操作 在“作业总览”页签,还可以完成以下操作。
表1 个人数据说明 使用个人数据的场景 数据批导 数据集 通用存储 数据合规递送 收集的个人数据项 路采数据包(含有人像的2D图片,音频或视频) 自定义数据集(含有人像的2D图片,音频或视频) 路采数据包(含有人像的2D图片,音频或视频) 个人数据收集的来源和方式 对象存储导入 本地
输出类型 可选择“数据标记”,“数据集”,“数据回放”,“回放仿真”,“数据图表”和“数据脱敏”。 数据标记:用于场景挖掘作业(Rosbag to场景片段)。 数据回放:输出结果是OpenData格式(Rosbag to OpenData)。 数据集:用于数据抽取作业,输出至通用存储(Rosbag
数据处理 创建算子 批导数据 处理数据 父主题: 自动驾驶云服务全流程开发
数据脱敏 作业总览 作业队列 算子管理 算子示例 父主题: 数据合规