检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
NLP大模型自动评测指标说明-使用评测模板 评测指标（自动评测-使用评测模板） 指标说明 评测得分 每个数据集上的得分为模型在当前数据集上的通过率；评测能力项中若有多个数据集则按照数据量的大小计算通过率的加权平均数。 综合能力 综合能力是计算所有数据集通过率的加权平均数。 表3 NLP大模型人工评测指标说明 评测指标（人工评测）
数据资产：数据资产是指用户在平台上发布的所有数据集。这些数据集会被存储在数据资产中，用户可以随时查看数据集的详细信息，如数据格式、大小、配比比例等，同时平台会自动记录每个数据集的操作历史，例如创建、发布及上线等过程。为了进一步简化管理，平台还支持数据集的删除功能，使用户能够对数据集进行灵活管理和调整。在模型训
体的json字段中提取出所需的数据。 评测配置 评测类型 选择“自动评测”。 评测规则 选择“基于规则”。 评测数据集 评测模板：使用预置的专业数据集进行评测。 单个评测集：由用户指定评测指标（F1分数、准去率、BLEU、Rouge）并上传评测数据集进行评测。 选择“单个评测集”时需要上传待评测数据集。
值，组成完整的提示词，查看不同提示词在模型中的使用效果。 在撰写提示词页面，找到页面右侧变量输入区域，在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息，变量集是一个excel文件，每行数据是需要输入的变量值信息，可以通过“导入”功能进行上传。
训练目的 训练数据 模型效果 应用场景举例 预训练 关注通用性：预训练旨在让模型学习广泛的通用知识，建立词汇、句法和语义的基础理解。通过大规模的通用数据训练，模型可以掌握丰富的语言模式，如语言结构、词义关系和常见的句型。 使用大规模通用数据：通常使用海量的无监督数据（如文本语料库
查看预测大模型训练状态与指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。 查看模型训练状态 在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化
条。 例如，“请告诉我您需要什么帮助？如：帮我预定会议室、帮我查询天气预报。 在“对话体验 > 追问”中，可选择是否开启“追问”功能，若开启，可填写追问prompt。 “对话体验”配置完成后，可在右侧“预览调试”中查看当前配置的开场白与推荐问题。 步骤7：调试应用 创建应用后，平台支持对应用执行过程的进行预览与调试。
具备。 评估作业员 拥有数据工程数据评估-评估作业模块的所有权限，其余角色不具备。 数据导入员 拥有数据工程数据获取-数据导入模块的所有权限，其余角色不具备。 数据加工员 拥有数据工程数据加工模块的所有权限，其余角色不具备。 数据发布员 拥有数据工程数据发布模块的所有权限，其余角色不具备。
表4 流式输出的数据单元 参数 参数类型 描述 data String stream=true时，执行Agent的消息以流式形式返回。 生成的内容以增量的方式逐步发送回来，每个data字段均包含一部分生成的内容，直到所有data返回，响应结束。 表5 流式输出的数据单元 参数 参数类型
查看NLP大模型训练状态与指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。 查看模型训练状态 在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化
为了帮助用户更好地管理和优化Token消耗，平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 URI POST /v1/{project_id}/deployments/{deployment_id}/caltokens
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务（Object Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署，帮助用户快速创建和部署模型。
功能总览 全部 数据工程工具链 模型开发工具链 应用开发工具链 能力调测 应用百宝箱 数据工程工具链 数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。
查看CV大模型训练状态与指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。 查看模型训练状态 在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化
、工单助手、娱乐互动等场景。 任务型工作流。面向自动化处理场景，基于输入内容直接输出结果，无中间的对话交互过程。适用于内容生成、批量翻译、数据分析等场景。 其中，任务型工作流不支持配置消息节点和提问器节点。 工作流编排流程见表1。 表1 工作流编排流程 操作步骤 说明 步骤1：创建工作流
按需计费模式下，若账户欠费，保留期时长同样依据“客户等级”定义。在保留期内的资源处理和费用请参见“保留期”。 如果保留期结束后仍未续订或充值，数据将被删除且无法恢复。
使用盘古应用百宝箱生成创意活动方案 场景描述 该示例演示了如何使用盘古应用百宝箱生成创意活动方案。 应用百宝箱是盘古大模型服务为用户提供的便捷AI应用集，用户可在其中使用盘古大模型预置的场景应用和外部应用，轻松体验大模型开箱即用的强大能力。 操作流程 使用盘古应用百宝箱生成创意活动方案的步骤如下：
创建提示词工程 通过精心设计和优化提示词，可以引导大模型生成用户期望的输出。提示词工程任务的目标是通过设计和实施一系列的实验，来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程，用于对提示词进行统一管理。 登录ModelArts Studio大模型开发平台，进入所需空间。
具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工程工具链还提供强大的数据存储和
Anom-2.0.0 2024年12月发布的版本，支持识别数据集中不符合预期模式或行为的数据点。 Pangu-Predict-Table-TimSeries-2.0.0 2024年12月发布的版本，支持根据历史时间序列数据来预测未来的值，广泛应用于金融、销售预测、天气预报、能源消耗预测等领域。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
