检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
评估完成后，可以查看每条数据的评估结果。 在评估结果中，“预期结果”表示变量值（问题）所预设的期望回答，“生成结果”表示模型回复的结果。通过比对“预期结果”、“生成结果”的差异可以判断提示词效果。 父主题： 批量评估提示词效果
提示词撰写完成后，可以通过输入具体的变量值，组成完整的提示词，查看不同提示词在模型中的使用效果。 在撰写提示词页面，找到页面右侧变量输入区域，在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息，变量集是一个excel文件，每
创建提示词评估数据集 批量评估提示词效果前，需要先上传提示词变量数据文件用于创建对应的评估数据集。 提示词变量是一种可以在文本生成中动态替换的占位符，用于根据不同的场景或用户输入生成不同的内容。其中，变量名称可以是任意的文字，用于描述变量的含义或作用。 提示词评估数据集约束限制 上传文件限xlsx格式。
科学计算大模型的训练主要分为两个阶段：预训练与微调。 预训练阶段：预训练是模型学习基础知识的过程，基于大规模通用数据集进行。例如，在区域海洋要素预测中，可以重新定义深海变量、海表变量，调整深度层、时间分辨率、水平分辨率以及区域范围，以适配自定义区域的模型场景。此阶段需预先准备区域的高精度数据。 微调阶段：在预训练模
返回结果 状态码 请求发送以后，您会收到响应，包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码，状态码表示了请求响应的状态，完整的状态码列表请参见状态码。 对于Pangu服务接口，如果调用后返回状态码为“200”，则表示请求成功。 响应消息头 对应请求消息
未来事件或趋势，过去的数据会影响未来的预测。 回归分类数据：回归分类数据包含多种预测因子（特征），用于预测连续变量的值。数据集中的多个特征变量帮助预测目标变量，而目标变量为连续数值，非离散类别。与时序数据不同，回归分类数据不要求数据具有时间顺序。 具体格式要求详见表1。 表1 预测类数据集格式要求
高空层次对模型重新进行训练。 高空变量 设置训练数据的高空变量信息，在“预训练”的场景中也支持您添加或去除新的高空变量，选择后会在变量权重中增加或去除该变量权重，训练任务会根据您配置的高空变量对模型重新进行训练。 表面变量 设置训练数据的表面变量信息，同时在“预训练”的场景中也支
下载数据。 图1 下载高空变量数据 示例二：以下载2021年7月16日表面变量数据为例，下载内容为表面变量（10m u风、10m v风、2米温度、海平面气压）0点、6点、12点、18点时刻的数据文件，下载步骤示例如下： 注册并登录数据下载平台，在表面变量数据下载链接中： Product
空层次变量或在深海变量预测结果与真实结果之间差距的指标。该值越小，表示模型在高空（深海）变量的预测精度越高。 表面Loss（海表Loss） 表面Loss（海表Loss）是衡量模型在表面层次变量或在海表变量预测结果与真实结果之间差距的指标。该值越小，表示模型在表面（海表）变量的预测精度越高。
审核文本类数据集标注结果 创建数据集标注任务时，如果设置了启用标注审核，在完成标注后可以在“标注审核”页面审核标注结果。 对于审核不合格的数据可以填写不合格原因并驳回给标注员重新标注。创建标注任务时如果指定了审核人员，则审核人员可以审核数据集，管理员（主账号）可以对所有数据集进行审核。
审核视频类数据集标注结果 创建数据集标注任务时，如果设置了启用标注审核，在完成标注后可以在“标注审核”页面审核标注结果。 对于审核不合格的数据可以填写不合格原因并驳回给标注员重新标注。创建标注任务时如果指定了审核人员，则审核人员可以审核数据集，管理员（主账号）可以对所有数据集进行审核。
为什么微调后的盘古大模型评估结果很好，但实际场景表现很差 当您在微调过程中，发现模型评估的结果很好，一旦将微调的模型部署以后，输入一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场
行比较，支持对选择的候选提示词设置相同变量值查看效果。 提示词评估 提示词评估以任务维度管理，支持评估任务的创建、查询、修改、删除。支持创建评估任务，选择候选提示词和需要使用的变量数据集，设置评估算法，执行任务自动化对候选提示词生成结果和结果评估。 提示词管理 提示词管理支持用户
查询推理作业详情 功能介绍 根据创建推理作业获取的作业ID获取科学计算大模型的结果数据。 URI GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致，可以参考创建推理作业获取。获取完整的创建推理作业API后，在这个API基础上去除末尾的/tasks即是域名。
支持选择多个起报时间作为推理作业的开始时间，每个起报时间需为输入数据中存在的时间点。 表面变量 支持选择推理结果输出的表面变量，包括10m u风、10m v风、2米温度、海平面气压，没有选择的变量推理结果将不输出。 高空变量 设置高空变量参数，包括：4个表面层特征（10m u风、10m v风、2米温度、
查询推理作业详情 功能介绍 根据创建推理作业获取的作业ID获取科学计算大模型的结果数据。 URI GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致，可以参考创建推理作业获取。获取完整的创建推理作业API后，在这个API基础上去除末尾的/tasks即是域名。
审核图片类数据集标注结果 创建数据集标注任务时，如果设置了启用标注审核，在完成标注后可以在“标注审核”页面审核标注结果。 对于审核不合格的数据可以填写不合格原因并驳回给标注员重新标注。创建标注任务时如果指定了审核人员，则审核人员可以审核数据集，管理员（主账号）可以对所有数据集进行审核。
注意在输入参数中定义名为input1的变量 input1 = args.get('input1') # 注意在输入参数中定义名为input2的变量 input2 = args.get('input2') res = { # 注意在输出参数中定义名为res的变量 "res": input1 +
在提示词撰写区域输入提示词文本，可以插入若干个变量，变量需要使用占位符{{ }}标识。 图2 撰写提示词 撰写完成后，单击“确定”，平台会自动识别插入的变量。提示词中识别的变量将展示在变量定义区域。 变量名称可以进行修改，如添加备注信息以便更好理解变量的作用。 图3 变量定义 变量定义区域展示的是整个工
击“创建评估”。 图1 创建评估 选择评估使用的变量数据集和评估方法。 评估用例集：根据选择的数据集，将待评估的提示词和数据集中的变量自动组装成完整的提示词，输入模型生成结果。 评估方法：根据选择的评估方法，对模型生成结果和预期结果进行比较，并根据算法给出相应的得分。 图2 创建提示词评估任务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
