检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
com/dcs/index.html host示例：redis://10.0.0.1:6379 Redis 否 host信息。 用户认证信息。 Redis官网： https://redis.io/ host示例：redis://10.0.0.1:6379 华为云RDS 否 host信息。 用户认证信息。
--node-type=worker --host-ip=192.168.0.209 主控节点执行命令如下： bash -x cluster_install-ascend.sh --pkg-path=/home/hilens/pkgs --node-type=controller --host-ip=192
注册边缘资源池节点 进入ModelArts服务，选择所需空间。 在左侧列表中单击“边缘资源池”，在“节点”页签中，单击“创建”。 在“创建边缘节点”页面中，填写节点名称，配置AI加速卡与日志信息，单击“确定”。 如果节点有npu设备需选择“AI加速卡 > Ascend”，并选择加速卡类型。
在“创建工具”页面参考表1完成工具代码的设置。 表1 创建工具参数说明 参数 是否必选 参数类型 描述 tool_id 是 String 工具ID，必须由英文小写字母和_组成，需要符合实际工具含义。 tool_desc 是 String 工具的描述，尽可能的准确简短描述工具的用途。 说明： 该描述直接影响大
messages objects 对话信息，包含两个属性：role和content。 assistant_running_param 否 Json Schema 用于更改AI助手的指令。包含instructions和additional_instructions两个参数。 instructions：AI助手的描述信息。
提示工程介绍 提示工程是一项将知识、技巧和直觉结合的工作，需要通过不断实践实现模型输出效果的提升。提示词和模型之间存在着密切关系，本指南结合了大模型通用的提示工程技巧以及盘古大模型的调优实践经验，总结的一些技巧和方法更为适合基于盘古大模型的提示工程。 本文的方法论及技巧部分使用了
为什么微调后的模型，评估结果很好，但实际场景表现却很差 多轮问答场景，为什么微调后的效果不好 数据量满足要求，为什么微调后的效果不好 数据量和质量均满足要求，为什么微调后的效果不好 数据量和质量均满足要求，Loss也正常收敛，为什么微调后的效果不好
bbs.huaweicloud.com/videos/102987 。 请求示例如下图所示，一个请求主要有请求URI、请求方法、请求消息头和请求消息体组成，各个部分将在下文详细解释。 图1 请求示例图 请求URI 请求URI由如下部分组成。 {URI-scheme} :// {Endpoint}
数据量和质量均满足要求，为什么微调后的效果不好 这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习
数据量和质量均满足要求，Loss也正常收敛，为什么微调后的效果不好 这种情况可能是由于以下几个原因导致的，建议您依次排查： Prompt设置：请检查您使用的Prompt，对于同一个目标任务，建议在推理阶段使用和训练数据相同或相似的PROMPT，才能发挥出模型的最佳效果。 模型规格
是基于某个领域内的知识问答，那么采用微调的手段确实能从一定程度上提升效果，但如果综合考虑训练的耗时和模型后续的持续迭代，采用搜索+问答的方案则更具性价比。 父主题： 典型训练问题和优化策略
欠拟合等异常情况。 模型评估：使用平台的“模型评估”功能，“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标，进行横向（相同训练数据+不同规格的通用模型）或纵向（不同训练数据训练的多个模型版本）对比来判断训练过程是否出现了问题。 人
回答的风格或格式有特殊要求：虽然通用模型学习了相当可观的基础知识，但如果目标任务要求回答必须符合特定的风格或格式，这将造成和基础知识的数据分布差异。例如，需要模型使用某银行客服的口吻进行线上问答，此时需要使用符合该银行风格和格式的数据集进行微调，以提升模型的遵循度。 Prompt工程后，效果仍无法达到预期：当对模
的数据。 人工标注：如果以上两种方案均无法满足您的要求，您也可以使用“数据标注”功能，采用人工标注方式来获取数据。 父主题： 典型训练问题和优化策略
如何判断训练状态是否正常 判断训练状态是否正常，通常可以通过观察训练过程中Loss（损失函数值）的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标，正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线，来观察其变化趋势。一般
数据中无异常样本：微调数据需要清洗和校验，滤除其中的噪声，尽可能保证回答中不存在异常数据。如空数据、重复、水印和异常字符等。 数据多样性：微调数据需要具有一定的多样性，多样性能增加任务的复杂度和难度，让模型能够处理不同的情况和问题，提升模型泛化性。例如，现在需要微调一个文案创作的模型，模型需要生成各个城市的宣传文案：
情况可能是由于以下几个原因导致的，建议您依次排查： 数据格式：多轮问答场景需要按照指定的数据格式来构造，问题需要拼接上历史所有轮对话的问题和回答。比如，当前是第三轮对话，数据中的问题字段需要包含第一轮的问题、第一轮的回答、第二轮的问题、第二轮的回答以及第三轮的问题，答案字段则为第
题重复度控制，如下提供了这些推理参数的建议值和说明，供您参考： 表1 推理参数的建议和说明 推理参数 范围 建议值 说明 温度（temperature） 0~1 0.3 温度主要用于控制模型输出的随机性和创造性。温度越高，输出的随机性和创造性越高；温度越低，输出结果越可以被预测，确定性相对也就越高。
用较大的学习率和较大的批量大小，以提高训练效率。如果微调数据量相对较少，则可以使用较小的学习率和较小的数据批量大小，避免过拟合。 通用模型的规格：如果模型参数规模较小，那么可能需要较大的学习率和较大的批量大小，以提高训练效率。如果规模较大，那么可能需要较小的学习率和较小的批量大小，防止内存溢出。
这种情况可能是由于以下原因导致的，建议您排查： 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差，都将影响模型训练的效果，建议提升您的数据质量。 父主题： 典型训练问题和优化策略
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
