检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
评测NLP大模型 创建NLP大模型评测数据集 创建NLP大模型评测任务 查看NLP大模型评测报告 管理NLP大模型评测任务 父主题： 开发盘古NLP大模型
管理NLP大模型评测任务 管理评测任务 在评测任务列表中，任务创建者可以对任务进行克隆（复制评测任务）、启动（重启评测任务）和删除操作。 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
单击操作列“评测报告”，在“评测报告”页面，可以查看评测任务的基本信息及评测概览。 其中，各评测指标说明详见NLP大模型评测指标说明。 导出评测报告。 在“评测报告 > 评测明细”页面，单击“导出”，可选择需要导出的评测报告，单击“确定”。
评测配置 评测类型 选择“自动评测”。 评测规则 选择“基于规则”。 评测数据集 评测模板：使用预置的专业数据集进行评测。 单个评测集：由用户指定评测指标（F1分数、准去率、BLEU、Rouge）并上传评测数据集进行评测。 选择“单个评测集”时需要上传待评测数据集。
创建NLP大模型评测数据集 NLP大模型支持人工评测与自动评测，在执行模型评测任务前，需创建评测数据集。 评测数据集的创建步骤与训练数据集一致，本章节仅做简单介绍，详细步骤请参见使用数据工程构建NLP大模型数据集。 登录ModelArts Studio平台，进入所需空间。
人工评测：您可以采用人工评测的方式，参照目标任务构造评测集，通过横向或纵向评估评测集的方式来验证模型效果。 父主题： 大模型微调训练类问题
不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。
待评测数据不存在，请检查数据是否导入成功，OBS桶是否为空。 obs url invalid. 请检查数据集对应的OBS路径是否有效，是否可正常访问。 standard item not exist. 请检查评估标准是否存在，是否被删除。
模型开发工具链：模型开发工具链是盘古大模型服务的核心组件，提供从模型创建到部署的一站式解决方案，涵盖模型训练、压缩、部署、评测、调用等功能，保障模型的高效应用。
该工具链具备模型训练、压缩、部署、评测、推理等功能，通过高效的推理性能和跨平台迁移工具，模型开发工具链能够保障模型在不同环境中的高效应用。 Agent开发工具链 应用开发工具链是盘古大模型平台的关键模块，支持提示词工程和智能Agent应用创建。
不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。
开发盘古NLP大模型 使用数据工程构建NLP大模型数据集 训练NLP大模型 压缩NLP大模型 部署NLP大模型 评测NLP大模型 调用NLP大模型
盘古大模型能力通过ModelArts Studio大模型开发平台承载，它提供了包括盘古大模型在内的多种大模型服务，提供覆盖全生命周期的大模型工具链。
该工具链具备模型训练、压缩、部署、评测、推理等功能，通过高效的推理性能和跨平台迁移工具，模型开发工具链能够保障模型在不同环境中的高效应用。
模型评测：为了确保模型的实际应用效果，平台提供了多维度的模型评测功能。通过自动化的评测机制，用户可以在训练过程中持续监控模型的精度、召回率等关键指标，及时发现潜在问题并优化调整。评测功能能够帮助用户在多种应用场景下验证模型的准确性与可靠性。
不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。
产品优势 预置多，数据工程“易” ModelArts Studio大模型开发平台预置多种数据处理AI算子，多种标注工具，满足用户多任务多场景需求，提高开发/标注效率>10X。
不同模型在预训练、微调、模型评测、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。
在评估提示词效果时，可以通过批量替换{{location}}的值，来获得模型回答，提升评测效率。 同时，撰写提示词过程中，可以通过设置模型参数来控制模型的生成行为，如调整温度、核采样、最大Token限制等参数。
模型开发-训练、评测最小数据量要求 使用ModelArts Studio平台训练、评测不同模型时，存在不同数据量的限制。以NLP大模型为例，请参考《用户指南》“开发盘古NLP大模型 > 使用数据工程构建NLP大模型数据集”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
