检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何调整推理参数，使模型效果最优 推理参数（解码参数）是一组用于控制模型生成预测结果的参数，其可以用于控制模型生成结果的样式，如长度、随机性、创造性、多样性、准确性和丰富度等等。 当前，平台支持的推理参数包括：温度、核采样以及话题重复度控制，如下提供了这些推理参数的建议值和说明，供您参考：
通用模型的规格：如果模型参数规模较小，那么可能需要较大的学习率和较大的批量大小，以提高训练效率。如果规模较大，那么可能需要较小的学习率和较小的批量大小，防止内存溢出。 这里提供了一些微调参数的建议值和说明，供您参考： 表1 微调参数的建议和说明 训练参数 范围 建议值 说明 训练轮数（epoch）
响应参数 非流式 状态码： 200 表4 响应Body参数 参数 参数类型 描述 id String 用来标识每个响应的唯一字符串。 created Integer 响应生成的时间。 choices Array of choices objects 生成的补全信息的列表，包含以下属性：
常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可以增大模型回答生成的长度，避免生成异常截断。请注意，该参数值存在上限，请结合目标任务的实际需要以及模型支持的长度限制来调整。 模
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选
一些被认为是重要的参数。当 AI助手在运行过程中遇到这些配置的参数时，它将抽取这些参数的取值与描述，并将这些信息记录到当前对话中。通过历史关键信息可以增强模型的理解和回答能力。 该参数需要与工具配合使用，需要填入工具input_schema参数中API的请求参数。例如，在配置AI
评估任务创建完成后，会跳转至“评估”页面，在该页面可以查看评估状态。 图1 查看评估状态 单击评估名称，进入评估任务详情页，可以查看详细的评估进度。例如，在图2中有10条评估用例，当前已经评估了8条，剩余2条待评估。 图2 查看评估进展 评估完成后，进入“评估报告”页面，可以查看每条数据的评估结果。
模型训练”，单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中，设置模型类型、训练类型、训练模型、训练参数和checkpoints等参数。 其中，训练配置选择LLM（大语言模型），训练类型选择自监督训练，根据所选模型配置训练参数。 表1 自监督训练参数说明 参数名称 说明 模型类型 选择“LLM”。
模型训练”，单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中，选择模型类型、训练类型、训练方式、训练模型与训练参数。 其中，训练配置选择LLM（大语言模型），训练类型选择有监督训练，根据所选模型配置训练参数。 表1 有监督微调参数说明 参数名称 说明 模型类型 选择“LLM”。 训练类型
这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，根据实际情况调整训练参数，帮助模型更好学习。 父主题：
修改参数以查看模型效果，示例如下： 将“核采样”参数调小，如改为0.1，保持其他参数不变，单击“重新生成”，再单击“重新生成”，可以看到模型前后两次回复内容的多样性降低。 图3 “核采样”参数调小后生成结果1 图4 “核采样”参数调小后生成结果2 将“核采样”参数调大，如改为1，保持其他参数不变，单击“重新生
修改参数以查看模型效果，示例如下： 将“核采样”参数调小，如改为0.1，保持其他参数不变，单击“重新生成”，再单击“重新生成”，可以看到模型前后两次回复内容的多样性降低。 图3 “核采样”参数调小后生成结果1 图4 “核采样”参数调小后生成结果2 将“核采样”参数调大，如改为1，保持其他参数不变，单击“重新生
ubject-Token”参数对应的值，该值即为需要获取的Token。 图7 获取Token 调用盘古API。 在Postman中新建POST请求，并填入盘古API请求地址。 参考图8填写2个请求Header参数。 参数名为Content-Type，参数值为application/json。
查： 推理参数设置：请检查推理参数中的“话题重复度控制”或“温度”或“核采样”等参数的设置，适当增大其中一个参数的值，可以提升模型回答的多样性。 数据质量：请检查训练数据中是否存在文本重复的异常数据，可以通过规则进行清洗。 训练参数设置：若数据质量存在问题，且因训练参数设置的不合
ubject-Token”参数对应的值，该值即为需要获取的Token。 图7 获取Token 调用盘古API。 在Postman中新建POST请求，并填入盘古API请求地址。 参考图8填写2个请求Header参数。 参数名为Content-Type，参数值为application/json。
在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“部署”。 在创建部署页面，完成部署配置，填写基本信息。 表1 部署配置参数 参数名称 说明 选择模型 选择需要部署的模型。 推理资源 选择非限时免费的模型时显示。选择盘古大模型服务提供的在线推理资产。 部署方式 选择“在线部署”，即将算法部署至盘古大模型服务提供的资源池中。
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选
Schema 工具输入参数。将API封装为工具时，调用该API的请求参数。请求体以json schema的形式进行描述，参数说明请参考官方指导。 output_schema 是 Json Schema 工具输出参数。将API封装为工具时，调用该API的响应参数。请求体以json s
几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合，模型没有学到任何知识。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当增大“训练轮次”的值，或根
取Token”接口，并填写请求Header参数。 接口地址为：https://iam.cn-southwest-2.myhuaweicloud.com/v3/auth/tokens 请求Header参数名为Content-Type，参数值为application/json 图3 填写获取Token接口
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
