检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标签管理 标签管理中的标签分为平台内置的场景挖掘标签和用户自定义标签。平台内置标签详情请查看表1 内置标签列表。用户还可根据实际需求,自定义设置需要的标签。当前支持两种方式添加标签:在线创建和文件上传。 表1 内置标签列表 场景挖掘方式 场景分类 子类 标签 内置场景挖掘规则 道路
算子示例 Rosbag转OpenData作业(数据回放) 场景挖掘作业(数据标记) 数据提取作业(数据集) Resim作业(回放仿真) 父主题: 数据处理
ModelArts集群 训练镜像 八爪鱼训练镜像使用ma-user用户运行,用户需保证镜像内已创建ma-user用户,且训练过程中使用到的python环境或其他依赖对ma-user具有权限,以下分别从“从0到1构建”和“从已有镜像”迁移两种方式说明。 从0到1构建训练镜像 用户可以docker
数据导入 对象存储导入数据 把原始数据上传至平台前,可将数据包上传至对象存储中,从对象存储导入平台。操作步骤如下: 在左侧菜单栏中,单击“数据处理 > 数据批导”。 选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所在的对象存储路径,
算子管理 平台支持自定义创建不同类型的算子,用于不同的数据处理作业。 新建算子 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“算子管理”页签,单击“新建算子”。 图1 新建算子 表1 新建算子参数 参数 说明 名称 算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
获取数据包列表 功能介绍 获取数据包列表 URI GET /v1.0/{project_id}/data/packages 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID 表2 Query参数 参数 是否必选
获取数据集列表 功能介绍 获取数据集列表 URI GET /v1.0/{project_id}/common/datasets 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID 表2 Query参数 参数
场景挖掘 平台支持基于内置场景挖掘算法和场景识别大模型挖掘的能力,对数据包进行场景挖掘。具体操作步骤如下: 在左侧菜单栏中,单击“数据资产 > 源数据包”。 选择“数据包”页签,单击操作栏中的“详情”,进入数据包详情页。 单击数据包信息的“场景挖掘”,后台会自动进行内置场景挖掘。
标注镜像Dockerfile示例 一般情况下,引擎主要包含预标注算法或预审核算法运行所需要的基本依赖环境,用户也可将预标注算法或预审核算法包内置在AI引擎中。 用户可使用命令行模式或Dockerfile模式进行构建。 以预标注自定义镜像为例,一般的镜像制作Dockerfile示例如下(xxx替换为实际路径):
数据脱敏作业 作业输入输出规范 用户完成自定义脱敏算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: input_file:待脱敏的文件路径 raw_dir:抽取的image,gnss,lidar数据存放路径 desensitized_dir:脱敏后的image,gnss,lidar数据存放路径
获取数据包topic回放索引 功能介绍 获取数据包topic回放索引 URI GET /v1.0/{project_id}/data/packages/{id}/replay-indices 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID
查询排队作业列表 功能介绍 查询排队作业列表 URI GET /v1.0/{project_id}/data/queuing-jobs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID 表2 Query参数
创建数据集 数据来源为数据集 数据来源为数据集子集 父主题: 数据集
自定义属性 数据处理只能识别带有标签的文件数据,进入通用存储后,用户可以给通用存储中的文件添加key-value映射关系的自定义属性。 创建自定义属性 在左侧菜单栏中,单击“数据资产 > 通用存储 ”。 选择“自定义属性”页签,单击“创建自定义属性”,填写基本信息。 图1 创建自定义属性
数据包格式 上传数据格式 转换后数据格式 消息topic格式规范 消息topic格式示例 父主题: 数据批导
获取数据包详情 功能介绍 获取数据包详情 URI GET /v1.0/{project_id}/data/packages/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID id 是 String
创建数据场景片段 功能介绍 创建数据场景片段 URI POST /v1.0/{project_id}/data/scenario/segments 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID 请求参数
获取数据集详情 功能介绍 获取数据集详情 URI GET /v1.0/{project_id}/common/datasets/{dataset_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID dataset_id
更新镜像仓库版本状态 功能介绍 更新镜像仓库版本状态/取消镜像版本推送 URI POST /v1.0/{project_id}/common/image-registry/image-repos/{id}/versions/{version}/status 表1 路径参数 参数 是否必选
场景挖掘 场景挖掘 内置场景挖掘规则 父主题: 源数据包