检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通用存储 创建存储目录 在左侧菜单栏中,选择“数据资产 > 通用存储”。 在“通用存储”页签,单击“创建存储目录”,填写名称和描述信息。 单击“确认”。 通用存储相关操作 在“通用存储”列表,还可以完成以下操作。
通用存储 通用存储 自定义属性 父主题: 数据资产
创建对象存储服务 Octopus云服务使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。
使用Octopus进行自动驾驶开发时,您需要将数据上传至对象存储服务(OBS)桶中。 您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传。 OBS上传数据的详细操作请参见《对象存储服务快速入门》。 父主题: 其他常见问题
其中镜像与模型仓库绑定,也就是说同一个模型仓库的版本共享一个镜像;文件存储在对象存储(OBS)中, 各个版本的文件一般不同。
数据集 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 模型管理 模型文件存储在OBS中。 通用存储 支持数据导出存储在OBS中。 数据处理 数据批导 支持导入OBS存储数据,支持实时扫描数据在OBS客户端操作。 数据处理 数据处理后的结果存储在OBS中。
存储扩容包 自动驾驶数据管理缓存扩容包 当SFS存储剩余容量不足时,购买自动驾驶数据管理缓存扩容包增加SFS存储容量。 自动驾驶数据管理存储扩容包 当OBS存储剩余容量不足时,购买自动驾驶数据管理缓存扩容包增加OBS存储容量。
下文介绍了通过对象存储导入数据的方式,帮助用户把车载平台输出的数据上传至Octopus平台上。 对象存储导入数据:用户需先将数据包上传至对象存储桶(可自定义)中,再导入到Octopus平台。上传速率快,适合上传大数据量(超过2G)的数据包。 单个数据包时长均不可超过10分钟。
数据缓存:提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 模型管理:负责对模型仓库和模型版本进行各种操作,模型仓库可包含多个模型版本,支持上传符合平台规范的模型用于标注或训练任务。 通用存储:支持创建通用存储,用于数据存储。 父主题: 数据资产
自定义属性 数据处理只能识别带有标签的文件数据,进入通用存储后,用户可以给通用存储中的文件添加key-value映射关系的自定义属性。 创建自定义属性 在左侧菜单栏中,单击“数据资产 > 通用存储 ”。 选择“自定义属性”页签,单击“创建自定义属性”,填写基本信息。
表6 存储计费项说明 计费项 计费模式 计费说明 计费公式 对象存储(OBS) 包年/包月、按需计费 Octopus使用OBS存储数据,产生的费用。 具体费用可参见对象存储价格详情。 父主题: 计费说明
配额说明 本服务应用的基础设施是对象存储服务。 关于如何查看配额,如何申请扩大配额,请参考关于配额。
OBS桶路径获取方法请参考创建对象存储服务。 根据需要生成的图片设置对应的参数。 系统会根据设置的参数查询可选对象框模板,可以直接选择一个对象框模板,再在模板中选择对象框。如果系统未查到可选的对象框模板,建议尝试切换相机视角,切换对象类型或者减少对象数量。
数据保护技术 Octopus通过多种数据保护手段和特性,保障存储在Octopus中的数据安全可靠。 表1 表1 多种数据保护手段 数据保护手段 简要说明 传输加密(HTTPS) 支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。
point_type:是一个PointType的枚举类型,表示该子类指标发生特殊状态(一般是指发生异常)时的时刻点用哪种形式存储起来。
数据导入 对象存储导入数据 把原始数据上传至平台前,可将数据包上传至对象存储中,从对象存储导入平台。操作步骤如下: 在左侧菜单栏中,选择“数据处理 > 数据批导”。 在“数据导入”页签单击“导入”,填写具体信息。
选择“对象存储导入”页签,填写具体信息。 选择目标数据包所在的对象存储路径,平台将自动扫描该目录下所有子目录。将此文件夹下的子目录都识别为有效数据包,可导入。上传数据前,请确保原始数据包含必要的有效文件,具体可参考上传数据格式。
审计与日志 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。
tmp_dir:供用户存储临时文件的目录。 task_content_json:人工打标需要的标签信息,详细参考“人工打标支持”。(如果没有人工打标,不需要此参数)。
数据类型:选择“通用存储”。 选择存储目录:选择需要操作的通用存储中的数据。 输出目录:选择可输出的通用存储的目录。 单击“创建”, 在作业总览页面可查看创建好的作业。 创建作业(数据场景) 在左侧菜单栏中,单击“数据处理 > 数据处理”。