检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何调整推理参数，使盘古大模型效果最优 推理参数（解码参数）是一组用于控制模型生成预测结果的参数，其可以用于控制模型生成结果的样式，如长度、随机性、创造性、多样性、准确性和丰富度等等。 当前，平台支持的推理参数包括：温度、核采样以及话题重复度控制，如下提供了这些推理参数的建议值和说明，供您参考：
几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合，模型没有学到任何知识。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当增大“训练轮次”的值，或根
通用模型的规格：如果模型参数规模较小，那么可能需要较大的学习率和较大的批量大小，以提高训练效率。如果规模较大，那么可能需要较小的学习率和较小的批量大小，防止内存溢出。 这里提供了一些微调参数的建议值和说明，供您参考： 表1 微调参数的建议和说明 训练参数 范围 建议值 说明 训练轮数（epoch）
模型基础信息”章节。 响应参数 非流式 状态码： 200 表7 响应Body参数 参数 参数类型 描述 id String 用来标识每个响应的唯一字符串。 created Integer 响应生成的时间。 choices Array of choices objects 生成的文本列表，包含以下属性：
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型部署ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型
常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可以增大模型回答生成的长度，避免生成异常截断。请注意，该参数值存在上限，请结合目标任务的实际需要以及模型支持的长度限制来调整。 模
这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，根据实际情况调整训练参数，帮助模型更好学习。 Prom
surface_features：海表特征变量列表，例如海表高度（SSH）、温度（T）、风速（U、V）。 under_sea_layers：深海层列表，例如500m、400mPa等。 under_sea_features：高空特征变量列表，例如海盐（S）、温度（T）、海流速率（U、V）。
查： 推理参数设置：请检查推理参数中的“话题重复度控制”或“温度”或“核采样”等参数的设置，适当增大其中一个参数的值，可以提升模型回答的多样性。 数据质量：请检查训练数据中是否存在文本重复的异常数据，可以通过规则进行清洗。 训练参数设置：若数据质量存在问题，且因训练参数设置的不合
择服务与系统人设，参数设置为默认参数，在输入框输入问题，单击“生成”，模型将基于问题进行回答。 图1 使用预置服务进行文本对话 可以尝试修改参数并查看模型效果。以修改“核采样”参数为例，核采样控制生成文本的多样性和质量： 当“核采样”参数设置为1时，保持其他参数不变，单击“重新生
评估任务创建完成后，会跳转至“评估”页面，在该页面可以查看评估状态。 图1 查看提示词评任务状态 单击“评估名称”，进入评估任务详情页，可以查看详细的评估进度，例如在图2中有10条评估用例，当前已评估8条，剩余2条待评估。 图2 查看评估进展 评估完成后，可以查看每条数据的评估结果。 在评估结果中，“预期结果”
E覆盖全球海洋主要海域（以下简称“全球海域”） 响应参数 状态码： 201 表9 响应Body参数 参数 参数类型 描述 tasks Array of tasks objects 创建的作业列表。 表10 tasks 参数 参数类型 描述 id String 创建的作业ID。 请求示例
1、3、6、24小时 0.25°*0.25° 全球 响应参数 状态码： 201 表9 响应Body参数 参数 参数类型 描述 tasks Array of tasks objects 创建的作业列表。 表10 tasks 参数 参数类型 描述 id String 创建的作业ID。 请求示例
是 Map<String, String> 插件配置，对应查询需要运行时传值的参数。 响应参数 流式（Header中的stream参数为true） 状态码： 200 表5 流式输出的数据单元 参数 参数类型 描述 data String stream=true时，执行工作流的消息
模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，模型类型选择“科学计算大模型”，参考表1完成部署参数设置，启动模型部署。 表1 科学计算大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。 场景 选择模型
模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，模型类型选择“NLP大模型”，参考表1完成部署参数设置，启动模型部署。 表1 NlP大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“NLP大模型”。 部署模型 选择需要进行部署的模型。
信息。 请求参数 单击“添加参数”，可以添加多个请求参数。 表3 请求参数信息 参数名称 说明 参数名称 参数的名称，长度为1 ~ 50个字符，参数名称会作为大模型解析参数含义的依据。 参数描述 参数的名称，长度为1 ~ 200个字符，参数名称会作为大模型解析参数含义的依据。 参数类型
操作： 编辑。单击操作列的“编辑”，可以修改模型的checkpoints、训练参数、训练数据以及基本信息等。 启动。单击操作列的“启动”，再单击弹窗的“确定”，可以启动训练任务。 克隆。单击操作列的“更多 > 克隆”，可以复制当前训练任务。 重试。单击操作列的“更多 > 重试”，
用来衡量大语言模型预测一个语言样本的能力，数值越低，准确率也就越高，表明模型性能越好。 指标看板 bleu-1：模型生成句子与实际句子在单字层面的匹配度，数值越高，表明模型性能越好。 bleu-2：模型生成句子与实际句子在词组层面的匹配度，数值越高，表明模型性能越好。 bleu-3：
conversation_id 是 String 会话ID，唯一标识每个会话的标识符，可将会话ID设置为任意值，使用标准UUID格式。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
