检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场景是否一致，质量较差的测试集无法反映模型的真实结果。 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大，则会加剧该现象。
模型评估：使用平台的“模型评估”功能，“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标，进行横向（相同训练数据+不同规格的通用模型）或纵向（不同训练数据训练的多个模型版本）对比来判断训练过程是否出现了问题。
当状态为“待评测”时，可以单击操作列“在线评测”进入评测页面。 依据页面提示对评估效果区域进行评测打分，全部数据评测完成后单击“提交”。 图1 人工评测示例 在“人工测评”页面，评测任务的状态将显示为“已完成”，单击操作列“评测报告”查看模型评测结果。 父主题： 评测NLP大模型
目录下有多个数据文件时，需要通过命名的方式指定数据是训练数据集、验证数据集还是测试数据集。训练数据名称需包含train字样，如train01.csv；验证数据名称需包含eval字样；测试数据名称需包含test字样。
产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深，带您玩转盘古大模型 01 了解 了解盘古大模型的概念、优势、应用场景以及模型能力与规格，您将更全面地掌握其强大功能，助力您在不同领域实现创新，加速业务智能化升级。
图3 多场景测试-不同语言对 复杂对话场景：如图4，当用户在对话中频繁切换意图时，测试意图识别节点的应答能力，确保其能够理解并适应多变的对话上下文。
'database': { 'video_name':{ // 训练集 train 测试集 test。
HuaweiCloud.SDK.PanguLargeModels NodeJs 安装NodeJs库 npm install @huaweicloud/huaweicloud-sdk-core npm i @huaweicloud/huaweicloud-sdk-pangulargemodels 在线生成
模型在测试集上表现不佳，泛化能力差。 优化调整策略如下： 通过统计学方法如计算四分位距、Z-score、样本分布等排查异常值。 通过可视化方法，数据可视化或者使用箱线图进行异常值的排查。 结合数据自身特征，进行异常数据的筛选。
模型在测试集上表现不佳，泛化能力差。 通过统计学方法如计算四分位距、Z-score、样本分布等排查异常值。 通过可视化方法，数据可视化或者使用箱线图进行异常值的排查。 结合数据自身特征，进行异常数据的筛选。 对于异常值，视情况进行删除、替换、保留等操作，兼顾模型的收敛与鲁棒性。
管理知识库 Agent开发平台支持对知识库执行获取知识库ID、删除、命中测试操作。 新增、删除知识库中知识文档 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“Agent开发”，跳转至Agent开发平台。
不同模型在预训练、微调、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。
相关的数据格式包括但不限于：在线网页、离线word文档、离线txt文件、离线excel表格、离线PDF文件、扫描版word文档、扫描版PDF文件等。 微调数据要求： 数据格式样例：JSONL格式，每行是一条JSON，包含“context”和“target”两个字段。
表2 验证集选择的时间区段 时间分辨率 推理步数 验证集选择的时间区段（需要至少在以下时间点内，且有连续数据，才能得到1条测试数据。） 1h 24 24h内每1h的数据（例：0点，1点，2点…次日0点）。
知识库命中测试 平台支持对创建的知识库进行命中测试，以评估知识库的效果和准确性。 命中测试通过将用户的查询与知识库中的内容进行匹配，最终输出与查询相关的信息，并根据匹配的程度进行排序。
不同模型在预训练、微调、模型评测、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。
这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场景是否一致，质量较差的测试集无法反映模型的真实结果。 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大，则会加剧该现象。
不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。
Ubuntu系统 在线安装： sudo apt install nfs-kernel-server Euler OS系统 在线安装： sudo yum install nfs-utils 若需离线安装，请联系盘古客服。
相关度阈值：超过相关度阈值的搜索结果会提交给大模型进行总结，否则被过滤，可以参考知识库中命中测试的相关度分值调整该阈值。 topk召回数量：召回的相关性阈值top切片数量，如topk召回数量为5，则相关性阈值为前5的切片将被召回提交给大模型总结。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
