检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据保护技术 Octopus通过多种数据保护手段和特性,保障存储在Octopus中的数据安全可靠。 表1 表1 多种数据保护手段 数据保护手段 简要说明 传输加密(HTTPS) 支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。 数据备份
在模糊搜索,输入“OBS”,选择“OBS OperateAccess”。 图4 设置最小授权范围 单击“下一步”,选择授权范围方案。 图5 选择授权范围方案 授权后需要等待15-30分钟方可生效。 图6 生效时间提醒 单击“完成”,授权完成。 在“授权记录”界面,可查看授权记录。 图7
高精地图上传后存储在OBS中。 标定管理 传感器标定上传的标定文件存储在OBS中。 数据场景 场景挖掘后切出的rosbag片段存储在OBS中。 数据集 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 模型管理 模型文件存储在OBS中。 通用存储 支持数据导出存储在OBS中。
使用Octopus进行自动驾驶开发时,您需要将数据上传至对象存储服务(OBS)桶中。 您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传。 OBS上传数据的详细操作请参见《对象存储服务快速入门》。 父主题: 其他常见问题
配额说明 本服务应用的基础设施是对象存储服务。 关于如何查看配额,如何申请扩大配额,请参考关于配额。
S桶中。 数据缓存:提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 模型管理:负责对模型仓库和模型版本进行各种操作,模型仓库可包含多个模型版本,支持上传符合平台规范的模型用于标注或训练任务。 通用存储:支持创建通用存储,用于数据存储。 父主题: 数据资产
据上传至Octopus平台上。 对象存储导入数据:用户需先将数据包上传至对象存储桶(可自定义)中,再导入到Octopus平台。上传速率快,适合上传大数据量(超过2G)的数据包。 单个数据包时长均不可超过10分钟。 目前MP4文件只支持对象存储导入。 数据导入任务的流程如下: 图1
选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所在的对象存储路径,平台将自动扫描该目录下所有子目录。将此文件夹下的子目录都识别为有效数据包,可导入。上传数据前,请确保原始数据包含必要的有效文件,具体可参考上传数据格式。 图1 对象存储导入 表1 数据导入参数说明(含*为必填项)
m/sm/scenarios/{id}/files/{sha256}/ { "ready" : true } 响应示例 状态码: 200 请求成功 { "url" : "/v2/my_project_id/sim/sm/files/0fb50a138fb132be3c7
景文件。 URI POST /v2/{project_id}/sim/sm/scenarios/{parent_lookup_id}/files 表1 路径参数 参数 是否必选 参数类型 描述 parent_lookup_id 是 String 场景ID。 project_id 是
d}/sim/sm/maps/{id}/files/{sha256}/ { "ready" : true } 响应示例 状态码: 200 请求成功 { "url" : "/v2/my_project_id/sim/sm/files/8717ae1874a4b063267
tmp_dir:供用户存储临时文件的目录。 task_content_json:人工打标需要的标签信息,详细参考“人工打标支持”。(如果没有人工打标,不需要此参数)。 Output 对于output_dir的格式限定如下: 必须有output_dir/dataset目录,存储数据集文件。数
节进行介绍。 point_type:是一个PointType的枚举类型,表示该子类指标发生特殊状态(一般是指发生异常)时的时刻点用哪种形式存储起来。目前Octopus使用的PointType共有以下4种类型: 表1 PointType类型 类型 说明 POINT_TYPE_POINT
rent_lookup_id}/files octopus:simScenario:create √ √ 修改场景文件 PATCH /v2/{project_id}/sim/sm/scenarios/{parent_lookup_id}/files/{sha256} octopu
优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 数据类型:选择“通用存储”。 选择存储目录:选择需要操作的通用存储中的数据。 输出目录:选择可输出的通用存储的目录。 单击“创建”, 在作业总览页面可查看创建好的作业。 创建作业(数据场景) 在左侧菜单栏中,单击“数据处理
与Octopus在同一区域。 查看OBS桶与Octopus是否在同一区域 查看创建的OBS桶所在区域。 登录OBS管理控制台。 进入“对象存储”界面,可在桶列表的“桶名称”列查找,或在右上方的搜索框中输入已经创建的桶名称搜索,找到您创建的OBS桶。 在“区域”列可查看创建的OBS桶的所在区域。
提供数据批导、源数据包、数据处理、数据缓存、数据集管理。 数据结构化:处理车载硬件平台上输出的传感器数据,详细统计各类传感器信息。 数据集治理:支持PB级海量存储。 提供通用存储、模型仓库,方便集中处理数据以及模型信息。 标注服务 以标注为核心。 平台提供点云和图片的人工标注和预标注。 支持数据预标注功能,节省大量人力成本。
业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“作业总览”页签,单击“创建作业”。 图1 创建作业 处理算子:根据需要选择算子。
标计算,则需满足以下条件: 自定义模型包中必须包含推理启动文件以及自定义模型文件,其中推理启动文件需要根据Octopus数据格式对推理结果存储为json进行适配,除此之外还可以包含一些其他必要的自定义脚本、自定义库、自定义算子库等。模型包文件目录结构可参考如下: . ├─ model
√ √ 修改场景地图文件 PATCH /v2/{project_id}/sim/sm/maps/{parent_lookup_id}/files/{sha256} octopus:simScenario:update √ √ 父主题: 权限和授权项