检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS地址 选择OBS桶中的地址,建议选择data、meta的上一级目录。 存放路径 “数据格式”选择“USER_DEFINE”或自定义格式时,可以选择存放路径。不选择存放路径,数据默认存放在数据集根目录下。
数据来源为数据集子集 当数据集形式为数据集子集时,创建步骤如下: 在左侧菜单栏中单击“数据资产 > 数据集”。 选择“数据集”页签,单击“创建数据集”,填写数据集信息。 图1 创建数据集子集 名称:不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
数据处理。 可选择数据是否进行OpenData转换,并且选用相对应的数据服务算子(数据回放)以及资源规格。 图2 数据处理 如果yaml和算子中有相同的信息,算子上传后,会覆盖yaml中的信息。 没有进行OpenData转换的数据,只能作为算子作业的输入使用。
图1 资源管理 选择资源规格页签,单击“新增规格”,选择并填写必要参数,即可新建一种资源规格。 图2 新增规格 资源用途:下拉选择,当前可选择数据转换、回放仿真、训练任务、模型评测、模型编译、预标注和数据脱敏任务。
命名规范 用户可将多个数据包存放在同个一级目录下,作为同一批次采集数据上传至Octopus平台。
资源池ID usage String 资源规格用途 枚举值: SIM_COMPILE(仿真编译) SIM_DOCKER(仿真异步镜像) DATA_PROCESS(数据处理) DATA_CONVERSION(数据转换) DATA_RESIM(回放仿真) DATA_DESENSITIZATION
数据处理。 可选择数据是否进行OpenData转换,并且选用相对应的数据服务算子(数据回放)以及资源规格。 图2 数据处理 如果yaml和算子中有相同的信息,算子上传后,会覆盖yaml中的信息。 没有进行OpenData转换的数据,只能作为算子作业的输入使用。
数据提取作业(数据集) 作业输入输出规范 示例代码 构建镜像 父主题: 算子示例
数据总览 在数据总览页面可查看平台数据服务的统计数据,帮助用户快速了解各项数据关键指标和业务的健康情况。 进入总览数据页面: 登录Octopus服务平台,在左侧菜单栏中单击“数据资产 > 数据总览”。
数据类型:选择“数据包”。 选择数据:选择需要操作的数据包中的数据。 输出目录:选择可输出的通用存储的目录。 单击“创建”, 在作业总览页面可查看创建好的作业。 父主题: 数据处理
存储扩容包 自动驾驶数据管理缓存扩容包 当SFS存储剩余容量不足时,购买自动驾驶数据管理缓存扩容包增加SFS存储容量。 自动驾驶数据管理存储扩容包 当OBS存储剩余容量不足时,购买自动驾驶数据管理缓存扩容包增加OBS存储容量。
存储目录 选择存储目录。 抽帧结果是否生成数据集 可根据需要,选择抽帧结果是否生成数据集。 名称 简要描述场景,只能包含数字、英文、中文、下划线、中划线。 描述 简要描述数据集,不包含“@#$%^&*< > \”,不超过256个字符。
中的脱敏数据生成新的数据文件存放到output_dir。
创建脱敏作业 查看数据递送订单详情,选择待脱敏的数据包,单击创建脱敏作业。 图3 创建脱敏作业 完成算子基本配置。 图4 算子基本信息 处理算子:根据需要选择数据脱敏算子。 资源规格:选择合适的资源规格。
资源池信息管理 查询可用资源规格 父主题: API
AccessKeyId=xxxxExpires=1701399201&Signature=xxxxxxxx" } } 状态码 状态码 描述 200 查询成功 400 请求参数错误 403 权限校验失败 404 找不到请求的资源 500 系统内部错误 错误码 请参见错误码。
数据缓存 提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 在数据集列表(数据资产 > 数据集)中,单击操作栏中的“缓存加速”。 在数据缓存界面出现缓存的数据。 父主题: 数据资产
使用场景 Octopus平台接收Rosbag格式数据包,没有转换OpenData格式时,可用于算子作业输入。 命名规范 用户可将多个数据包存放在同个一级目录下,作为同一批次采集数据上传至Octopus平台。
使用场景 Octopus平台接收Rosbag格式数据包,没有转换OpenData格式时,可用于算子作业输入。 命名规范 用户可将多个数据包存放在同个一级目录下,作为同一批次采集数据上传至Octopus平台。
资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 数据类型:选择“数据包”。 选择数据:选择需要操作的数据包中的数据。 输出目录:选择可输出的通用存储的名称。