云服务器内容精选

华为云首页用户手册

开发盘古CV大模型

盘古大模型 PanguLargeModels-使用数据工程构建CV大模型数据集:构建CV大模型数据集流程

构建CV大模型数据集流程在ModelArts Studio大模型开发平台中，使用数据工程构建盘古CV大模型数据集流程见表2。表2 盘古CV大模型数据集构建流程流程子流程说明操作指导导入数据至盘古平台创建导入任务将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。导入数据至盘古平台加工图片、视频类数据集清洗图片、视频类数据集通过专用的清洗算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。清洗图片类数据集、清洗视频类数据集标注图片、视频类数据集为无标签数据集添加准确的标签，确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式，用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。标注图片类数据集、标注视频类数据集发布图片、视频类数据集评估图片、视频类数据集平台预置了多种数据类型的基础评估标准，包括NLP、视频和图片数据，用户可根据需求选择预置标准或自定义评估标准，从而精确优化数据质量，确保数据满足高标准，提升模型性能。评估图片类数据集、评估视频类数据集配比图片类数据集数据配比是将多个数据集按特定比例组合并发布为“发布数据集”的过程。通过合理的配比，确保数据集的多样性、平衡性和代表性，避免因数据分布不均而引发的问题。配比图片类数据集流通图片、视频类数据集数据流通是将单个数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。平台支持发布的数据集格式为默认格式、盘古格式。默认格式：平台默认的格式。盘古格式：训练盘古大模型时，需要发布为该格式。当前仅文本类、图片类数据集支持发布为盘古格式。流通图片类数据集、流通视频类数据集

盘古大模型 PanguLargeModels 开发盘古CV大模型
盘古大模型 PanguLargeModels-使用数据工程构建CV大模型数据集:训练CV大模型所需数据量

训练CV大模型所需数据量初期启动训练时，每种模型类别先提供1000张已标注的图片数据进行训练，后续根据验证结果再动态提供数据迭代。图片中需要识别的目标是清晰可见的，没有遮挡、模糊等特征破坏问题。图片中的目标大小显著，目标物体在不放大图片的情况下人眼清晰可见。画面光照良好，如果是在恶劣天气、户外、晚上等光照不好的场景，需要有补光设备保证良好的光照条件，需要保障在图片中人眼能清晰辨别目标。图片分辨率大于640x640 px，关于拍摄角度、距离、分辨率等画面拍摄条件，需要保证训练集图片和测试部署时的图片保持一致。

盘古大模型 PanguLargeModels 开发盘古CV大模型