检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集发布场景介绍 数据发布介绍 ModelArts Studio大模型开发平台提供的数据发布功能涵盖数据评估、数据配比和数据流通操作，旨在通过数据质量评估和合理的比例组合，确保数据满足大模型训练的多样性、平衡性和代表性需求，促进数据的高效流通和应用。 数据发布不仅包括将数据发布
[{"context":"你好","target":"你好，请问有什么可以帮助你的？"},{"context":"请介绍一下华为云的产品。","target":"华为云提供包括但不限于计算、存储、网络等产品服务。"}] 单个文件大小不超过50GB，文件数量最多1000个。。 多轮问答（人设）
数据工程使用流程 高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。
大模型开发基本流程介绍 大模型（Large Models）通常指的是具有海量参数和复杂结构的深度学习模型，广泛应用于自然语言处理（NLP）等领域。开发一个大模型的流程可以分为以下几个主要步骤： 数据集准备：大模型的性能往往依赖于大量的训练数据。因此，数据集准备是模型开发的第一步。
数据集加工场景介绍 数据加工介绍 ModelArts Studio大模型开发平台提供数据加工功能，涵盖了数据清洗、数据合成和数据标注关键操作，旨在确保原始数据符合业务需求和模型训练的标准，是数据工程中的核心环节。 数据清洗 通过专用的清洗算子对数据进行预处理，确保数据符合模型训练
使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，数据集文件内容包括：预训练文本、单轮问答、多轮问答、带人设单轮问答、带人设多轮问答等，不同训练方式所需要使用的数据见表1，该数据集格式要求请参见文本类数据集格式要求。 表1
标注图片类数据集 创建图片类数据集标注任务 标注图片类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建图片类数据集标注任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程
训练损失值 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标，通常情况下越小越好。 一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。 验证损失值 模型在验证集上的损失值。值越小，意味着模型对验证集数据的泛化能力越好。
支持选择用于启动推理作业的模型。 中期天气要素模型包括1h分辨率、3h分辨率、6h分辨率、24小时分辨率模型，即以起报时刻开始，分别可以逐1h、3h、6h、24h往后进行天气要素的预测。 中期天气要素模型包括6h分辨率模型，即以起报时刻开始，可以逐6h往后进行降水情况的预测。 结果存储路径 用于存放模型推理结果的OBS路径。
认证鉴权 调用接口有如下认证方式，您可以选择其中一种进行认证鉴权。 Token认证：通过Token认证调用请求。 AppCode认证：当用户部署的API服务期望开放给其他用户调用时，原有Token认证无法支持，可通过AppCode认证调用请求。 AK/SK认证：通过AK（Access
训练损失值 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标，通常情况下越小越好。 一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。 频率加权交并比 频率加权交并比是指模型在预测多个类别时，对每个类别的交并比进行
好。这里代表高空Loss（深海Loss）和表面Loss（海表Loss）的综合Loss。 一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。 高空Loss（深海Loss） 高空Loss（深海Loss）是衡量模型在高空层次
默认设置为[]，表示选择最后一列作为预测目标变量。 训练集&验证集比例 将数据集划分为训练集和验证集。填写验证集的比例（默认为 0.2，即训练集占0.8，验证集占0.2）。可选比例包括0.1、0.2、0.3、0.4。 基模型算法池 对于异常检测模型：从预定义的算法池中选择用于训练模型的算法，算法包括：["knn"
模型在生成这个Token时会受到一定的惩罚。当presence_penalty的值为正数时，模型会更倾向于生成新的、未出现过的Token，即模型会更倾向于谈论新的话题。 最小值：-2 最大值：2 缺省值：0 （表示该参数未生效） frequency_penalty 否 Float
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
