检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当状态为“待评测”时，可以单击操作列“在线评测”进入评测页面。 依据页面提示对评估效果区域进行评测打分，全部数据评测完成后单击“提交”。 图1 人工评测示例 在“人工测评”页面，评测任务的状态将显示为“已完成”，单击操作列“评测报告”查看模型评测结果。 父主题： 评测NLP大模型
为什么微调后的盘古大模型评估结果很好，但实际场景表现很差 当您在微调过程中，发现模型评估的结果很好，一旦将微调的模型部署以后，输入一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场景是否一致
不同模型在预训练、微调、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。
HuaweiCloud.SDK.PanguLargeModels NodeJs 安装NodeJs库 npm install @huaweicloud/huaweicloud-sdk-core npm i @huaweicloud/huaweicloud-sdk-pangulargemodels 在线生成
产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深，带您玩转盘古大模型 01 了解 了解盘古大模型的概念、优势、应用场景以及模型能力与规格，您将更全面地掌握其强大功能，助力您在不同领域实现创新，加速业务智能化升级。
如何评估微调后的盘古大模型是否正常 评估模型效果的方法有很多，通常可以从以下几个方面来评估模型训练效果： Loss曲线：通过Loss曲线的变化趋势来评估训练效果，确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估：使用平台的“模型评估”功能，“模型评估”将对您之前上传的测试集进行评估
不同模型在预训练、微调、模型评测、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。
预测类数据集格式要求 平台支持创建预测类数据集，创建时可导入时序数据、回归分类数据。 时序数据：时序预测数据是一种按时间顺序排列的数据序列，用于预测未来事件或趋势，过去的数据会影响未来的预测。 回归分类数据：回归分类数据包含多种预测因子（特征），用于预测连续变量的值，与时序数据不同
不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi 支持mp4、avi视频格式上传，所有视频可以放在多个文件夹下
认证鉴权 调用接口有如下认证方式，您可以选择其中一种进行认证鉴权。 Token认证：通过Token认证调用请求。 AppCode认证：当用户部署的API服务期望开放给其他用户调用时，原有Token认证无法支持，可通过AppCode认证调用请求。 AK/SK认证：通过AK（Access
微调典型问题 科学计算大模型微调典型问题见表1。 表1 科学计算大模型微调典型问题 问题 可能原因 解决方法 预训练或微调作业失败，提示训练集数据不足。 训练集选取时间区段是否不足。 训练集选择的时间区段需要至少超过模型分辨率对应时长。 预训练或微调作业失败，提示验证集数据不足。
构造请求 本节介绍REST API请求的组成，并以调用服务的获取用户Token接口说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987 。 请求示例如图1，一个请求主要由请求URI
效果评估与优化 在低代码构建多语言文本翻译工作流中，优化和评估的关键在于如何设计和调整prompt（提示词）。prompt是与大模型或其他节点（如翻译插件）交互的核心，它直接影响工作流响应的准确性和效果。因此，效果评估与优化应从以下几个方面进行详细分析： 评估工作流响应的准确性：从工作流响应准确性维度看
相关的数据格式包括但不限于：在线网页、离线word文档、离线txt文件、离线excel表格、离线PDF文件、扫描版word文档、扫描版PDF文件等。 微调数据要求： 数据格式样例：JSONL格式，每行是一条JSON，包含“context”和“target”两个字段。
数据预处理优化 模型训练前，需要对数据进行加工，防止某些特征存在极端异常值或大面积错误数据，导致模型训练不稳定。可能会引发如下问题： 模型对异常值过度敏感，导致拟合异常值而非整体数据分布。 训练过程中损失波动较大，甚至出现梯度爆炸。 模型在测试集上表现不佳，泛化能力差。 优化调整策略如下
调优典型问题 科学计算大模型调优典型问题见表1。 表1 科学计算大模型调优典型问题 问题 可能原因 解决方法 预训练或微调作业失败，提示训练集数据不足。 训练集选取时间区段是否不足。 训练集选择的时间区段需要至少超过模型分辨率对应时长。 预训练或微调作业失败，提示验证集数据不足。
管理知识库 Agent开发平台支持对知识库执行获取知识库ID、删除、命中测试操作。 新增、删除知识库中知识文档 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“Agent开发”，跳转至Agent开发平台。 进入“工作台
Ubuntu系统 在线安装： sudo apt install nfs-kernel-server Euler OS系统 在线安装： sudo yum install nfs-utils 若需离线安装，请联系盘古客服。
创建知识库 创建知识库的步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“Agent开发”，跳转至Agent开发平台。 单击左侧导航栏“工作台”，在“知识库”页签，单击右上角“创建知识库”。 在“创建知识库”
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
