父主题: 算子管理
父主题: 算子管理
创建算子 在左侧菜单栏中,选择“数据处理 > 数据处理”。 在“算子管理”页签单击“新建算子”,填写算子信息。 表1 新建算子参数 参数 说明 名称 算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
算子管理 平台支持自定义创建不同类型的算子,用于不同的数据处理作业。 新建算子 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“算子管理”页签,单击“新建算子”。 表1 新建算子参数 参数 说明 名称 算子名称,不得超过64个字符。
算子管理 新建算子 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 算子管理”页签,单击“新建算子”。 完成新建算子相关信息。 名称:算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
父主题: 算子管理
算子管理 查询算子列表 创建算子 查询算子详情 更新算子 删除算子 父主题: API
算子管理 表1 算子管理权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 查询算子列表 GET /v1.0/{project_id}/data/processors octopus:dataProcessors
算子示例 数据脱敏作业 父主题: 数据脱敏
算子示例 Rosbag转OpenData作业(数据回放) 场景挖掘作业(数据标记) 数据提取作业(数据集) Resim作业(回放仿真) 父主题: 数据处理
父主题: 算子管理
父主题: 算子管理
制作CCE集群训练镜像 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 一般情况下,训练与评测定义为同一个引擎,主要包括算法或评测脚本运行所需要的基本依赖环境。
运行命令: docker build -f Dockerfile -t ros-hard-mining:0.1 本地调试。
父主题: 算子示例
数据仓库服务重启,导入信息丢失 请尝试重新上传或者联系运维人员 作业运行超时 请优化算子逻辑或者增加作业资源规格 作业运行失败 请查看作业日志或者检查算子逻辑是否正确 内部异常 请查看日志内容或者检查CCE作业是否正常 其他情况 请查看日志内容或者检查CCE作业是否正常 在“作业总览
必须有_SUCCESS或 _FAILURE文件,标志用户镜像任务完成(或失败)。 可选有output_dir/auxiliary目录,用于存储附加文件。对格式没有限制。
-output --test.bag --SUCCESS 其中,“SUCCESS”文件为标识文件,标识所在阶段的任务结束。
Dockerfile示例 图8 示例 启动命令: python3 /home/main/ros2opendata.py --lidar_calibration_id 5 构建镜像 运行命令: docker build -f dockerfile -t rosbag2opendata
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,选择“数据处理 > 数据处理”。
您即将访问非华为云网站,请注意账号财产安全