检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业总览 创建作业 在左侧菜单栏中,单击“数据合规”。 选择“数据脱敏 > 作业总览”页签,单击“创建作业”。 完成创建作业任务信息。 处理算子:根据需要选择脱敏算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。 优先级:设定任务的优先级,数值取[-50
算子管理 新建算子 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 算子管理”页签,单击“新建算子”。 完成新建算子相关信息。 名称:算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。 描述:算子内容、用途等的简要描述,不包含“@#$%^&*<
算子管理 平台支持自定义创建不同类型的算子,用于不同的数据处理作业。 新建算子 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“算子管理”页签,单击“新建算子”。 表1 新建算子参数 参数 说明 名称 算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
算子示例 Rosbag转OpenData作业(数据回放) 场景挖掘作业(数据标记) 数据提取作业(数据集) Resim作业(回放仿真) 父主题: 数据处理
消息topic格式示例 消息topic具体格式要求请参考“消息topic格式规范”。接收到的消息topic示例请参考如下示例: Vehicle Gnss Ego_tf Object_array_vision Tag_record Control Predicted_objects
场景挖掘 场景挖掘 内置场景挖掘规则 父主题: 源数据包
场景管理分类设计使用逻辑 场景管理提供所有仿真场景、测试用例和泛化场景的管理功能,用户可上传符合平台规范的自定义场景,也可将场景下载至本地开发。Octopus平台自研场景标签分类体系,从多维度深层次科学分类场景。仿真场景库可自建仿真场景库,集合相同场景格式的不同条件仿真场景,检验在特定条件下仿真算法控制质量。
消息topic格式规范 Vehicle 对于车辆自身基本数据录制的消息格式,需遵循一定规范,其中部分字段为必选,其他请根据实际需要自由选取。 表1 vehicle消息格式规范 格式名称 说明 VehicleInfo 车辆信息 消息格式中部分参数为必选,如使用该数据类型,则不可缺少
消息topic格式示例 消息topic具体格式要求请参考“消息topic格式规范”。接收到的消息topic示例请参考如下示例: Vehicle Gnss Ego_tf Object_array_vision Tag_record Control Predicted_objects
${BADCASE_RESULT}/annotations 用户提供坏例的标准Octopus标注数据。 ${BADCASE_RESULT}/records 用户保存坏例记录文件位置。 示例命令: python ${SCRIPT}/eval.py --image ${DATASET} --output
审计与日志 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务后,CTS可记录八爪鱼的管理事件用于审计。
作业队列 平台为脱敏作业提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 作业队列”页签,可查看作业。 父主题: 数据脱敏
作业总览 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储和数据场景。 创建作业(数据包) 在左侧菜单栏中,选择“数据处理
算子示例 数据脱敏作业 父主题: 数据脱敏
回收站 Octopus平台支持用户删除数据包,执行删除操作的数据包将暂存回收站,等待用户可根据项目情况及时恢复或永久删除。具体操作参考如下: 在左侧菜单栏中,选择“数据资产 > 源数据包”。 在“数据包”页签,选择指定数据包操作栏内的“更多 > 删除”,根据界面提示删除数据包,删除后的数据包将放入回收站。
作业队列 平台为算子作业、内部作业和脱敏作业提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签,可根据作业类型(算子作业或内部作业)查看作业。 数据处理作业队列相关操作
导出任务 导出数据集 单击数据集列表操作栏的“导出”,选择数据目的地。 数据目的地:默认选择OBS。 访问密钥:请输入访问密钥(AK)。 私有访问密钥:请输入私有访问密钥(SK)。 OBS目录:请指定数据集导出后存放的目录。 访问密钥ID(AK)和私有访问密钥(SK),在导入数据
Resim作业(回放仿真) 作业输入输出规范 运行resim容器时,Octopus平台向容器中注入以下环境变量: rosbag_path: 作为输入的rosbag存放路径,例如/tmp/data/20220620.bag output_dir: resim作业的运行结果输出的目录,例如/tmp/output
场景挖掘 平台支持基于内置场景挖掘算法和场景识别大模型挖掘的能力,对数据包进行场景挖掘。具体操作步骤如下: 在左侧菜单栏中,选择“数据资产 > 源数据包”。 选择“数据包”页签,执行场景挖掘。 勾选需要内置场景挖掘的数据包,单击“场景挖掘”。 单击操作栏中的“详情”,进入数据包详情,单击“场景挖掘”。
file_types Array of strings 文件类型列表,file_type最多10个 枚举值: IMAGE(图片) POINT_CLOUD(点云) TEXT(文本) VIDEO(视频) SCENARIO(场景文件) OTHERS(其他) 表7 JobEnv 参数 参数类型 描述