检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“创建”,即可创建一个脱敏作业。 脱敏作业更多操作 在“作业总览”页签,还可以完成以下操作。 表1 脱敏作业相关操作 任务 操作步骤 查看作业详情 单击操作栏中的“详情”,可查看作业的详情。 单击作业总览列表,操作栏中的“详情”。 在作业详情页,可在线查看或本地下载作业日志。 重启作业 单击操作
单击“创建”, 在作业总览页面可查看创建好的作业。 数据处理作业相关操作 在“作业总览”页签,针对算子作业还可以完成以下操作。 表1 作业总览相关操作 任务 操作步骤 作业详情 单击操作栏中的“详情”,可查看作业的详情和日志信息。当作业出现异常时,请参见表2分析定位问题。 重启作业 单击操
item DataSystemJobDeatilVo object 内部作业详情 表5 DataSystemJobDeatilVo 参数 参数类型 描述 id Long 作业id type String 内部作业类型 枚举值: PACKAGE_IMPORT(数据包导入) PACKAGE_DELETE(数据包删除)
DataSystemJobListVo objects 内部作业列表 page_info PageInfo object 分页信息 表6 DataSystemJobListVo 参数 参数类型 描述 id Long 作业ID job_type String 作业类型。PACKAGE_IMPORT:数据
job_id Long 作业id processor_id Long 算子id(内部作业队列不返回) source String 来源(内部作业队列不返回) processor_name String 算子名称(内部作业队列不返回) job_type String 内部作业类型 枚举值:
作业队列 平台为脱敏作业提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 作业队列”页签,可查看作业。 父主题: 数据脱敏
作业队列 表1 作业队列权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 查询排队作业列表 GET /v1.0/{project_id}/data/queuing-jobs octopus:dataJob:list
在“作业队列”页签,还可以进行以下操作。 表1 作业队列相关操作 任务 操作步骤 置顶作业 单击操作栏中的“置顶”,即可将作业调整至队列中最高优先级。 置底作业 单击操作栏中的“置底”,即可将作业调整至队列中最低优先级。 上移作业 单击操作栏中的“更多 > 上移”,即可将作业调整至队列中上一级。 下移作业 单击操作栏中的“更多
作业队列 平台为算子作业、内部作业和脱敏作业提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签,可根据作业类型(算子作业或内部作业)查看作业。 数据处理作业队列相关操作
作业队列 查询排队作业列表 操作队列 批量更新队列优先级 父主题: API
数据脱敏作业 作业输入输出规范 用户完成自定义脱敏算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: input_file:待脱敏的文件路径 raw_dir:抽取的image,gnss,lidar数据存放路径 desensitized_dir:脱敏后的image,gnss,lidar数据存放路径
出一行打标信息。 输出结果完成后,作业容器需要在output目录创建一个名为“_SUCCESS”的标识文件,用于通知系统作业已完成。如果作业主动捕获到异常并失败退出,可在output目录创建一个名为“_FAILURE”的标识文件,用于通知系统作业已失败。 运行完成并上传的挖掘结果
创建回放转仿真场景作业 功能介绍 创建回放转仿真场景作业 URI POST /v1.0/{project_id}/data/episodes/scenarios 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID
描述 queue_type 是 String 队列类型 枚举值: PROCESSOR(算子作业) INTERNAL(内部作业) RESIM(回放仿真作业) DESENSITIZATION(脱敏作业) operation_type 是 String 操作类型 枚举值: MOVE_TOP(置顶)
数据提取作业(数据集) 作业输入输出规范 Input 平台会以环境变量的形式提供以下参数: rosbag_path: rosbag路径,以.bag结尾。 output_dir:最终输出数据集路径。 tmp_dir:供用户存储临时文件的目录。 task_content_json:人
Rosbag转OpenData作业(数据回放) 作业输入输出规范 用户完成自定义Rosbag转OpenData算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: rosbag_path: 作为数据源的rosbag存放路径,例如/tmp/data/20220620.bag
Resim作业(回放仿真) 作业输入输出规范 运行resim容器时,Octopus平台向容器中注入以下环境变量: rosbag_path: 作为输入的rosbag存放路径,例如/tmp/data/20220620.bag output_dir: resim作业的运行结果输出的目录,例如/tmp/output
查询回放转仿真场景作业状态 功能介绍 查询回放转仿真场景作业状态 URI GET /v1.0/{project_id}/data/episodes/scenarios/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID
PROCESSOR(算子作业) INTERNAL(内部作业) RESIM(回放仿真作业) DESENSITIZATION(脱敏作业) priority 是 Integer 优先级,数值越大优先级越高 最小值:-50 最大值:50 ids 是 Array of longs 作业队列id列表,最多50个
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。