检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Rosbag转OpenData作业(数据回放) 作业输入输出规范 示例代码 构建镜像 父主题: 算子示例
数据提取作业(数据集) 作业输入输出规范 示例代码 构建镜像 父主题: 算子示例
输出结果完成后,作业容器需要在output目录创建一个名为“_SUCCESS”的标识文件,用于通知系统作业已完成。如果作业主动捕获到异常并失败退出,可在output目录创建一个名为“_FAILURE”的标识文件,用于通知系统作业已失败。
必须有_SUCCESS或 _FAILURE文件,标志用户镜像任务完成(或失败)。 可选有output_dir/auxiliary目录,用于存储附加文件。对格式没有限制。 人工打标支持 Input 程序必须能接受task_content_json,该参数以环境变量的形式引入镜像。
作业输入输出规范 用户完成自定义Rosbag转OpenData算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: rosbag_path: 作为数据源的rosbag存放路径,例如/tmp/data/20220620.bag yaml_path: 启动数据收集任务的yaml
作业需要输出的文件类似如下结构: |--- /tmp/output 环境变量output_dir指定的输出目录 |--- opendata_to_platform.yaml 输出描述文件,详情见下文 |--- _SUCCESS
示例代码 作业输入输出规范示例代码如下图所示: 代码文件命名为ros_hard_mining.py。 父主题: 场景挖掘作业(数据标记)
示例代码 作业输入输出规范示例代码如下图所示: 父主题: 数据提取作业(数据集)
示例代码 以下为主程序文件ros2opendata.py中截取的代码片段,分别运行不同的功能,详见注释。 运行前准备: 解析点云消息: 解析gnss消息: 写opendata_to_platform.yaml文件: 父主题: Rosbag转OpenData作业(数据回放)
数据仓库服务重启,导入信息丢失 请尝试重新上传或者联系运维人员 作业运行超时 请优化算子逻辑或者增加作业资源规格 作业运行失败 请查看作业日志或者检查算子逻辑是否正确 内部异常 请查看日志内容或者检查CCE作业是否正常 其他情况 请查看日志内容或者检查CCE作业是否正常 父主题:
订单相关操作 表1 订单相关操作 任务 操作步骤 获取传输配置 在“数据合规”订单列表页面,单击操作栏内的“获取传输配置”,获取传输配置详情,主要信息包括:目标桶、导入目录、Access Key ID (AK)和Secret Access Key (SK)。
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。
任务管理 回放仿真功能支持创建回放仿真作业,数据包选择回放仿真算子就可以触发相对应的作业。 创建作业 在左侧菜单栏中,单击“数据处理 > 回放仿真”。 选择“作业总览”页签,单击“创建作业”。 图1 创建作业 处理算子:根据需要选择回放仿真算子。
数据处理:支持根据自定义数据服务算子,对数据包进行处理,创建不同类型的作业。 回放仿真:通过回放仿真算子生成回放仿真作业,支持对比回放功能。 父主题: 数据处理
图1 创建作业 处理算子:根据需要选择脱敏算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 环境变量:配置算子的环境变量。允许添加的环境变量个数不超过10个。
RESIM(回放仿真作业) DESENSITIZATION(脱敏作业) limit 否 Integer 返回个数上限 最小值:1 最大值:200 缺省值:10 offset 否 Integer 查询偏移量 最小值:0 缺省值:0 processor_name 否 String 算子名称
作业队列 平台为算子作业、内部作业和脱敏作业提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签,可根据作业类型(算子作业或内部作业)查看作业。
id,配置算子时此项必填 resource_spec String 资源规格,配置算子时此项必填,示例:1Core_4GiB。
preprocessor: #转OpenData算子信息 id: 10105 # 算子id resource_spec: X86_4Core_8GiB
preprocessor: #转OpenData算子信息 id: 10105 # 算子id resource_spec: X86_4Core_8GiB