检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看提示词评估结果 评估任务创建完成后，会跳转至“评估”页面，在该页面可以查看评估状态。 图1 查看评估状态 单击评估名称，进入评估任务详情页，可以查看详细的评估进度。例如，在图2中有10条评估用例，当前已经评估了8条，剩余2条待评估。 图2 查看评估进展 评估完成后，进入“评估
查看训练任务详情与训练指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 图1 模型训练列表 不同类型的训练方法可支持查看的训练指标有所差异，训练指标和训练方法的关系如下： 表1 训练指标和训练方法对应关系
评估日志： 平台支持查看本次模型评估任务的详细日志。选择评估的模型后，可以查看其从创建开始到任务结束的日志内容，支持下载并保存到本地（log格式）。可通过日志查看报错，调整任务配置重新发起。 图4 评估日志页面 评估指标说明 模型训练完成后，可以通过一系列的评估方法来衡量模型的性能。当前支
扩容模型推理资产 不同类型的模型在部署时，做占用的推理资产数量存在差异，部署模型时所占的推理资产数量与模型类型关系如下。 表1 部署模型 模型类型 推理资产占有数量 盘古-NLP-N1 系列模型 部署1实例占用0.125个推理单元。 盘古-NLP-N2 系列模型 部署1实例占用0.5个推理单元。
Agent在实际生产应用中往往涉及到的工具数量较多，如果把所用的工具全部添加至Agent会产生如下问题： 占用大量输入token。 和问题无关的工具太多，影响模型的判断。 通过Tool Retriever可以解决上述问题，其原理是在Agent运行前，先从所有可用的工具中选择与问题最相关的工具，再交给Agent去处理。
Agent在实际生产应用中往往涉及到的工具数量较多，如果把所用的工具全部添加至Agent会产生如下问题： 占用大量输入token。 和问题无关的工具太多，影响模型的判断。 通过Tool Retriever可以解决上述问题，其原理是在Agent运行前，先从所有可用的工具中选择与问题最相关的工具，再交给Agent去处理，示例如下：
信息。 通过“服务管理”功能查看调用量 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，选择所需要查看的服务，单击操作列“查看详情”。 图1 查看详情 在服务详情页面，在“概览”页签，可以查看调用量的概览信息，在“监控”页签，可以查看下详细的调用总量、调用成功量与调用失败量。
N2基础功能模型、N4基础功能模型、经有监督微调训练以及RLHF训练后的N2、N4模型可以通过模型压缩技术在保持相同QPS目标的情况下，降低推理时的显存占用。 采用INT8的压缩方式，INT8量化可以显著减小模型的存储大小与降低功耗，并提高计算速度。 模型经过量化压缩后，不支持评估操作，但可以进行部署操作。
"07daf8d9-38a8-460c-8068-3ff420e76c8d", "thought": "好的，我需要先查询会议室的状态，然后才能帮您预定。现在开始查询会议室状态。", "tool_invoking": [ {
选择需要部署的模型。 推理资源 选择非限时免费的模型时显示。选择盘古大模型服务提供的在线推理资产。 部署方式 选择“在线部署”，即将算法部署至盘古大模型服务提供的资源池中。 推理资产 选择“已购资产”。 限时免费：使用免费的推理资源，仅支持部署一个实例。 已购资产：由用户购买的推理资源，实际可用推理单元由购买时的数量决定。
自监督训练 使用不含有标记的数据进行模型训练。 创建自监督微调训练任务 有监督训练 使用含有标记的数据进行模型训练，以学习输入和输出之间的映射关系。 创建有监督训练任务 模型评估 创建模型评估任务 训练完成后评估模型的回答效果。 创建模型评估任务 查看模型评估结果 查看模型评估指标和评估结果。
“西南-贵阳一”区域对应的project id。 图1 查看盘古服务区域 图2 获取user name、domain name、project id 下载并安装Postman调测工具。 打开Postman，新建一个POST请求，输入“西南-贵阳一”区域的“获取Token”接口，并填写请求Header参数。
在清洗数据时，用户可以通过组合不同的数据清洗算子来实现数据清洗功能。平台提供了多种数据清洗模板，用户可以直接套用这些模板进行数据清洗。 数据清洗模板获取方式如下： 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”，进入“清洗模板”页面，在该页面查看预置的数据清洗模板。 图1
在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 图1 服务管理 在“概览 > 服务列表”中选择需要调用的模型，并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取对应模型的API请求地址。其中，路径选中部分即为模型的部署ID（deployment_id）。
在“服务管理”页面，单击所需API的“查看详情”按钮。 图1 服务管理 在“服务列表”中选择需要调用的模型，单击操作栏中的“调用路径”，复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古API过程中，Token起到了身份验证和权限管理的作用。 在调用盘古AP
终端节点（endpoint）即API服务的终端地址，通过该地址与API进行通信和交互。获取步骤如下： 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“概览 > 服务列表”中选择需要调用的模型，
估。通过查看测试集样本的PPL、BLEU和ROUGE等指标，进行横向（相同训练数据+不同规格的通用模型）或纵向（不同训练数据训练的多个模型版本）对比来判断训练过程是否出现了问题。 人工评测：您可以采用人工评测的方式，参照目标任务构造评测集，通过横向或纵向评估评测集的方式来验证模型效果。
设置候选提示词 用户可以将效果较好的提示词设为候选提示词，并对提示词进行比对查看效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务操作栏中的“撰写”。 图1 撰写提示词
模型训练完成后，可以通过迁移（导入模型、导出模型）功能将本局点训练的模型导出，或将其他局点训练的模型导入本局点进行使用。 支持迁移操作的模型可以在“模型开发 > 模型管理 > 我的模型”中查看。 图1 模型管理 导入/导出模型 以从环境A迁移模型到环境B为例： 登录环境B的盘古大模型套件平台，在“模型开发 >
返回一个资源特征与地址的列表用于用户终端（例如：浏览器）选择。 301 Moved Permanently 永久移动，请求的资源已被永久的移动到新的URI，返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其他地址，使用GET和POST请求查看。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
