盘古大模型 PANGULARGEMODELS-使用数据工程构建科学计算大模型数据集:构建科学计算大模型数据集流程

时间:2024-12-03 10:25:01

构建科学计算大模型数据集流程

在ModelArts Studio大模型开发平台中,使用数据工程创建盘古科学计算大模型数据集流程见表2

表2 盘古科学计算大模型数据集构建流程

流程

子流程

说明

操作指导

导入数据至盘古平台

创建原始数据集

数据集是指用于模型训练或评测的一组相关数据样本,上传至平台的数据将被创建为原始数据集进行统一管理。

创建原始数据集

上线原始数据集

在正式发布数据集前,需要执行上线操作。

上线原始数据集

加工数据集(可选)

创建气象类数据集加工任务

数据集中若存在异常数据,可通过数据集加工功能去除异常字符、表情符号、个人敏感内容等。

创建气象类数据集加工任务

上线加工后的数据集

对加工后的数据集执行上线操作。

上线加工后的文本类数据集

发布数据集

创建气象类数据集发布任务

创建发布数据集,并进行正式的发布操作,用于后续的训练、评测任务。

发布气象类数据集

support.huaweicloud.com/usermanual-pangulm/pangulm_04_0184.html