盘古大模型 PanguLargeModels-编排工作流:步骤3:配置大模型节点
步骤3:配置大模型节点
大模型节点提供了使用大模型能力,可在节点中配置已部署的模型,用户可以通过编写Prompt、设置参数让模型处理相应任务。
大模型节点为可选节点,若无需配置,可跳过该步骤。
大模型节点配置步骤如下:
- 拖动左侧“大模型”节点至画布中,单击该节点以打开节点配置页面。
- 参照表2,完成大模型节点的配置。
表2 大模型节点配置说明 配置类型
参数名称
参数说明
参数配置
输入参数
- 参数名称:参数的名称长度必须大于等于1个字符,并且字符只允许为下面三种类型:
- 字母(A-Z或a-z)
- 数字(0-9)
- 特殊字符:_
- 类型、值:支持“引用”和“输入”两种类型。
- 引用:支持用户选择工作流中已包含的前置节点的输出变量值。
- 输入:支持用户自定义取值。
输出参数
该参数用于解析大模型节点的输出,并提供给后序节点的输出参数引用。
- 参数名称:参数的名称长度必须大于等于1个字符,并且字符只允许为下面三种类型:
- 字母(A-Z或a-z)
- 数字(0-9)
- 特殊字符:_
说明:用户自定义输出参数名称不允许与内置输出参数rawOutput同名。大模型节点有一个内置输出参数rawOutput,代表该节点未经解析的原始输出,与大模型节点相连的后序节点可以直接引用该输出。
- 参数类型:输出参数的类型,可选String、Integer、Number、Boolean。
- 描述:对于该输出参数的描述。
- 输出格式:支持输出的格式包括文本、Markdown、JSON。
模型配置
模型选择
选择已部署的模型。
核采样
模型在输出时会从概率最高的词汇开始选择,直到这些词汇的总概率累积达到核采样值,核采样值可以限制模型选择这些高概率的词汇,从而控制输出内容的多样性。建议不要与温度同时调整。
温度
用于控制生成结果的随机性。调高温度,会使得模型的输出更具多样性和创新性;降低温度,会使输出内容更加遵循指令要求,但同时也会减少模型输出的多样性。
提示词配置
提示词
写提示词时,支持使用{{variable}}格式引用当前节点输入参数中已定义好的参数。
- 提示词:大模型的系统提示词,用于指导模型更好的完成任务。
- 参数名称:参数的名称长度必须大于等于1个字符,并且字符只允许为下面三种类型:
- 节点配置完成后,单击“确定”。
- 连接大模型节点和其他节点。