华为云用户手册

MCP服务节点配置说明 MCP服务节点是工作流中实现第三方能力调用的核心组件之一。作为功能扩展的重要载体，该节点允许通过调用MCP服务来执行特定功能任务。每个MCP服务实质上是一个工具集合，可以提供模块化服务来拓宽工作流的能力边界，完成更复杂的任务。 MCP服务类型包括预置服务和个人服务。 预置服务：平台预置了"高德地图"、"车票查询工具"、"必应搜索"等多种实用MCP服务，开通后可以一键集成调用。支持开发者在工作流或应用中添加预置MCP服务，丰富其能力。 个人服务：平台允许开发者创建自定义MCP服务，支持将MCP服务地址通过配置方式快速创建为自定义MCP服务，提供给工作流或应用调用。 MCP服务节点为可选节点，若无需配置，可跳过该步骤。 MCP服务节点配置步骤如下： 拖动左侧“MCP服务”节点至画布中，在“个人服务”或“预置服务”页签单击“”，将MCP服务添加至画布中，其中有些“预置服务”不能直接添加，需要单击“立即开通”，开通服务后即可添加至画布中。 预置服务为平台内置的MCP服务。 个人服务为用户创建的自定义MCP服务，创建MCP服务步骤详见创建MCP服务。 连接MCP服务节点和其他节点。 单击画布中已添加的“MCP服务”节点，参照表1 MCP服务节点配置说明，完成MCP服务节点的配置。 表15 MCP服务节点配置说明 配置类型 参数名称 参数说明 参数配置 工具 支持从当前MCP服务所包含的工具列表中选择一个作为工作流运行到该节点时会执行的工具。 输入参数 参数名称、类型：从插件元信息中导入，用户无需手动添加。 值：支持“引用”和“输入”两种类型。 引用：支持用户选择工作流中已包含的前置节点的输出变量值和全局配置中的记忆变量，适用于需要从前置节点输出中获取插件入参的场景。 输入：支持用户自定义取值，适用于MCP服务入参取值固定的场景。 输出参数 输出参数所有信息从MCP服务元信息中自动导入，用户无需手动配置。 图15 MCP服务节点配置示例 节点配置完成后，单击“确定”。

知识检索节点配置说明 知识检索节点可以根据输入参数从指定知识库内召回匹配的信息，节点支持选择用户创建的知识库，创建步骤请详见创建知识库。 知识检索节点配置步骤如下： 拖动左侧“知识检索”节点至画布中，单击该节点以打开节点配置页面。 参照表14，完成大模型节点的配置。 表14 知识检索节点配置说明 配置类型 参数名称 参数说明 参数配置 输入参数 参数名称：输入参数固定只有1个，参数名称为query且不可修改。 类型、值：支持“引用”和“输入”两种类型。 引用：支持用户选择工作流中已包含的前置节点的输出变量值。 输入：支持用户自定义取值。 知识库 支持上传用户所建立的知识库。 相关度阈值 超过相关度阈值的搜索结果会提交给大模型进行总结，否则被过滤，可以参考知识库中命中测试的相关度分值调整该阈值。 取值范围为0.01~0.99。 topk召回数量 召回的相关性阈值top切片数量，如topk召回数量为5，则相关性阈值为前5的切片将被召回提交给大模型总结。 取值范围为1~6。 输出参数 - 知识检索节点输出的参数output_list为一个数组，包含文档名称（document_name）、检索到的内容（content）以及得分（score）。 图14 知识检索节点配置示例 节点配置完成后，单击“确定”。 连接消息节点和其他节点。

Agent节点配置说明 Agent节点提供了使用大模型的能力以及大模型工具调用的能力，可在节点中配置已部署的模型，用户可以通过编写Prompt、绑定插件让模型处理相应任务。 Agent节点为可选节点，若无需配置，可跳过该步骤。 Agent节点配置步骤如下： 拖动左侧“Agent”节点至画布中，单击该节点以打开节点配置页面。 参照表16，完成变量输入节点的配置。 表16 Agent节点配置说明 配置类型 参数名称 参数说明 模型配置 模型选择 选择执行此节点的模型，支持设置模型在此节点中的生成多样性等参数配置，使模型效果更符合你的预期。 核采样 模型在输出时会从概率最高的词汇开始选择，直到这些词汇的总概率累积达到核采样值，核采样值可以限制模型选择这些高概率的词汇，从而控制输出内容的多样性。建议不要与温度同时调整。 温度 用于控制生成结果的随机性。调高温度，会使得模型的输出更具多样性和创新性；降低温度，会使输出内容更加遵循指令要求，但同时也会减少模型输出的多样性。 参数配置 输入参数 参数名称：只允许输入字母、数字、下划线，且不能以数字开头。 类型、值：支持“引用”和“输入”两种类型。 引用：支持用户选择工作流中已包含的前置节点的输出变量值和全局配置中的记忆变量。 输入：支持用户自定义取值。 插件 可绑定手动创建的插件或预制插件，当模型识别到需要调用工具来完成任务时，会根据用户的输入提取参数完成插件调用，并总结插件执行结果。 系统提示词 配置输入给大模型的系统提示词，用于指导模型更好的完成任务。配置提示词时，支持使用{{variable}}格式引用当前节点输入参数中已定义好的参数。最终替换后的内容会传递给模型。 输出参数 输出参数为Agent节点最后一轮的输出。 终止条件 最大迭代轮次 该参数用于设置与模型的最大交互次数，超过最大回复轮数还没有提取到参数则跳出Agent节点。 插件执行成功 该参数开启后可绑定插件，当执行该插件成功后跳出Agent节点。 识别到用户有退出意图 该参数开启后识别到用户输入有退出意向时，跳出Agent节点。 图16 Agent节点配置示例 节点配置完成后，单击“确定”。 连接Agent节点和其他节点。

循环节点配置说明 循环节点提供了循环执行节点的能力，可在循环体内配置需要循环的节点，用户可以通过在循环体内编排节点多次执行处理任务。 循环是一种常见的控制机制，用于重复执行一系列任务，直到满足某个条件为止。工作流提供循环节点，当需要重复执行一些操作，或循环处理一组数据时，可以使用循环节点实现。 循环节点为可选节点，若无需配置，可跳过该步骤。 循环节点配置步骤如下： 拖动左侧“循环”节点至画布中，拖动其他需要循环执行的节点到循环体画布内部并编排（循环内执行需从循环输入节点开始，输出连接到循环输出节点，暂不支持交互式节点）。 参照表10，完成循环节点的配置。 表10 循环节点配置说明 配置类型 参数名称 参数说明 循环类型配置 使用数组循环 使用数组循环类似编程语言中的for语法结构。遍历循环用于遍历一个已知的序列，对序列中的每个元素执行一系列相同的步骤。 使用数组循环时，需要指定arr_loop_var的值，此参数仅支持引用上游节点的输出，且必须为数组格式。使用数组循环模式下执行循环节点时，循环的次数取决于循环数组引用的数组长度。 使用数组循环时，循环节点会遍历数组中的每个元素，每次循环都会将当前循环到的元素赋值给内置变量。内置变量仅限循环节点内部使用。目前支持的内置变量如下： item：数组元素，即当前循环到的数组元素。 index：数组索引，index+1 为当前循环的轮次。 指定循环次数 指定循环次数模式通常用于批量、顺序处理数据的场景，需要同时设置循环次数。 循环次数默认为5次，支持设置为1~1000次。 使用参考： 回合制游戏，3局2胜可将循环次数设置为3。 网络爬虫爬取前1000个商品信息，循环次数设置为1000。 变量配置 循环数组 此参数只有在使用数组循环时支持配置，名称固定为arr_loop_var，仅支持引用上游节点输出。 中间变量 循环节点支持设置中间变量，此变量可作用于每一次循环。中间变量通常和循环体中的设置变量节点搭配使用，在每次循环结束后为中间变量设置一个新的值，并在下次循环中使用新值。 参数名称：只允许输入字母、数字、下划线，且不能以数字开头。 类型、值：支持“引用”和“输入”两种类型。 引用：支持用户选择工作流中已包含的前置节点的输出变量值。 输入：支持用户自定义取值。 输出参数 循环节点的输出参数可设置为循环体的执行结果集合，表示当数组中所有元素运行完毕之后，将所有循环的运行结果打包输出给下游。也支持设置为中间变量的取值。 图10 循环节点配置示例 节点配置完成后，单击“确定”。 连接循环节点和其他节点。

消息节点配置说明 消息节点可提供中间过程的消息输出能力，通过定义一段文本内容，在工作流的执行过程中向用户发送该内容的消息。 消息节点配置步骤如下： 拖动左侧“消息”节点至画布中，单击该节点以打开节点配置页面。 参照表13，完成大模型节点的配置。 表13 消息节点配置说明 配置类型 参数名称 参数说明 参数配置 输入参数 参数名称：只允许输入字母、数字、下划线，且不能以数字开头。 类型、值：支持“引用”和“输入”两种类型。 引用：支持用户选择工作流中已包含的前置节点的输出变量值。 输入：支持用户自定义取值。 指定回复 - 可撰写指定的回复信息，并以{{参数名称}}的形式插入变量。 节点配置完成后，单击“确定”。 连接消息节点和其他节点。

变量聚合节点配置说明 变量聚合节点能够对多个分支的输出进行聚合处理，方便后置节点统一配置。 如果工作流中设计了多个分支，往往需要一个节点来汇总所有分支的输出结果。在这种场景下，你可以使用变量聚合节点聚合多路分支的输出变量，变量聚合节点会读取多路分支中第一个不为空的值，供流程下游的节点使用和操作，不用额外处理未运行分支的输出结果，简化了数据流的管理。 变量聚合节点为可选节点，若无需配置，可跳过该步骤。 变量聚合节点配置步骤如下： 拖动左侧“变量聚合”节点至画布中，单击该节点以打开节点配置页面。 参照表9，完成变量聚合节点的配置。 表9 变量聚合节点配置说明 配置类型 参数名称 参数说明 参数配置 输出参数 参数名称：固定为Group1，如果有多个分组则根据分组数量递增为Group2、Group3 等。 参数类型：取决于对应聚合分组的变量数据类型。 聚合策略 - 通过指定策略对每个分组中的所有变量进行聚合处理，同一组内的变量实施相对应的聚合策略。 目前聚合策略仅支持设置为“返回每个分组中第一个非空值”，支持拖动变量、调整变量位置。例如组内按顺序设置三个变量output1、output2 和output3，将其聚合为一个变量Group1，如果ouput1 不为空，则用output1 的值为Group1 赋值；如果ouput1 为空，则取ouput2 的值，依次类推。 聚合分组 - 默认只有一个分组Group1，对应一个输出变量Group1。分组中所有变量类型相同。如果需要输出多个变量，可以添加多个分组，依次递增为Group2、Group3等。 聚合变量 - 在聚合分组中选择需要聚合的变量，每个分组只能聚合一种数据类型的变量。例如将多个String 类型的变量聚合为一个String 变量、将多个Integer 类型的变量聚合为一个Integer 变量。 图9 变量聚合节点配置示例 节点配置完成后，单击“确定”。 连接变量聚合节点和其他节点。

变量赋值节点配置说明 变量赋值节点，将特定的值赋给变量，可以实现数据的动态更新和传递，使工作流能够根据实时数据做出相应的处理和决策；变量设置节点也支持在循环节点内部使用，通过变量设置节点，将特定的值赋给中间变量，可以实现循环过程中数据的动态更新和传递。 变量赋值节点配置步骤如下： 拖动左侧“变量赋值”节点至画布中，单击该节点以打开节点配置页面。 连接变量赋值节点和其他节点。 参照表11，完成变量赋值节点的配置。 表11 变量赋值节点配置说明 配置类型 参数名称 参数说明 循环节点外变量赋值节点配置 变量赋值 变量赋值节点变量名称仅支持全局配置中记忆变量引用，值可支持引用或者输入两种。 类型、值：支持“引用”和“输入”两种类型。 引用：支持用户选择工作流中已包含的前置节点的输出变量值以及全局配置的中的记忆变量。 输入：支持用户自定义取值。 循环节点中变量赋值配置 变量赋值 变量赋值节点支持在循环体内部引用，只支持更改循环体中间变量的值，被赋值变量仅支持选择中间变量，值可支持引用或输入两种。适用于循环过程中动态更新中间变量，自定义循环逻辑中进行参数传递的场景。 类型、值：支持“引用”和“输入”两种类型。 引用：中间变量的值需要引用上游节点输出时勾选此项，支持用户选择工作流中已包含的前置节点的输出变量值以及循环体内置变量，包括index、item（数组循环）以及中间变量，适用于循环过程中修改中间变量的值为变量的场景。 输入：支持用户自定义取值，适用于循环过程中修改中间变量的值为固定值场景。 图11 变量赋值节点配置示例 图12 变量赋值节点在循环节点中配置示例 节点配置完成后，单击“确定”。 连接变量赋值节点和其他节点。

输入节点配置说明 输入节点提供工作流运行过程中的信息输入。 在比较复杂的工作流场景中，某些节点的执行往往需要额外的用户输入。如果前置节点中没有获取到这些信息，你可以添加一个输入节点来主动收集信息。工作流执行到输入节点时会暂时中断，直到此节点收集到必要的用户输入。 输入节点为可选节点，若无需配置，可跳过该步骤。 输入节点配置步骤如下： 拖动左侧“输入”节点至画布中，单击该节点以打开节点配置页面。 参照表12，完成变量输入节点的配置。 表12 输入节点配置说明 配置类型 参数名称 参数说明 参数配置 输入参数 支持配置一个或多个输入参数，且输入参数可被后置节点引用。 参数名称：只允许输入字母、数字、下划线，且不能以数字开头。 参数类型：可选String、Integer、Number、Boolean、Object、Array、File类型。 描述：对于该输入参数的描述。 图13 输入节点配置示例 节点配置完成后，单击“确定”。 连接输入节点和其他节点。

意图识别节点配置说明 意图识别节点通过大模型推理分析用户输入，匹配预定义的意图关键字类别，并根据识别结果引导至相应的处理流程，通常位于工作流的前置位置。 意图识别节点为可选节点，若无需配置，可跳过该步骤。 意图识别节点配置步骤如下： 拖动左侧“意图识别”节点至画布中，单击该节点以打开节点配置页面。 参照表3，完成意图识别节点的配置。 表3 意图识别节点配置说明 配置类型 参数名称 参数说明 参数配置 输入参数 参数名称：默认名称input，为固定值，不可编辑。 类型、值：支持“引用”和“输入”两种类型。 引用：支持用户选择工作流中已包含的前置节点的输出变量值。 输入：支持用户自定义取值。 模型配置 模型选择 选择已部署的模型。 核采样 模型在输出时会从概率最高的词汇开始选择，直到这些词汇的总概率累积达到核采样值，核采样值可以限制模型选择这些高概率的词汇，从而控制输出内容的多样性。建议不要与温度同时调整。 温度 用于控制生成结果的随机性。调高温度，会使得模型的输出更具多样性和创新性；降低温度，会使输出内容更加遵循指令要求，但同时也会减少模型输出的多样性。 意图配置 意图1 配置相关意图关键字信息。 在意图输入框中输入意图描述信息，描述信息为针对该类别的描述语句或者关键词，也将作为大模型进行推理和分类的依据。意图数量最多为21个（包含默认的“其他”意图）。 高级配置 提示词 高级配置项供进阶开发者修改提示词，如果不配置将会使用系统默认值。提示词的撰写可能影响到意图识别节点的准确性。 图3 意图识别节点配置示例 节点配置完成后，单击“确定”。 连接意图识别节点和其他节点。

插件节点配置说明 插件节点使开发者可以在工作流中实现与外部环境的交互，以拥有更强大的能力，完成更复杂的任务。 插件类型包括预置插件和个人插件。 预置插件：平台预置了代码解释器插件，支持开发者直接将插件添加到工作流或应用中，丰富其能力。 自定义插件：平台允许开发者创建自定义插件，支持将API通过配置方式快速创建为插件，并供Agent调用。 插件节点为可选节点，若无需配置，可跳过该步骤。 插件节点配置步骤如下： 拖动左侧“插件”节点至画布中，在“个人插件”或“预置插件”页签单击“”，将插件添加至画布中。 预置插件为平台内置的插件 个人插件为用户自定义的插件，创建插件步骤详见创建插件。 单击画布中已添加的“插件”节点，参照表5，完成插件节点的配置。 表5 插件节点配置说明 配置类型 参数名称 参数说明 参数配置 输入参数 参数名称：从插件元信息中导入，用户无需手动添加。 类型、值：支持“引用”和“输入”两种类型。 引用：支持用户选择工作流中已包含的前置节点的输出变量值。 输入：支持用户自定义取值。 输出参数 输出参数所有信息从插件元信息中导入，用户无需手动添加。 图4 插件节点配置示例 节点配置完成后，单击“确定”。 连接插件节点和其他节点。

判断节点配置说明 判断节点是一个IF-ELSE节点，提供了多分支条件判断的能力，用于设计分支流程。 当向该节点输入参数时，节点会判断输入是否符合“参数配置”中预设的条件，符合则执行“IF”对应的工作流分支，否则执行“ELSE”对应的工作流分支。 每个分支条件支持添加多个判断条件（且、或），同时支持添加多个条件分支。 判断节点为可选节点，若无需配置，可跳过该步骤。 判断节点配置步骤如下： 拖动左侧“判断”节点至画布中，单击该节点以打开节点配置页面。 参照表7，完成判断节点的配置。 表7 判断节点配置说明 配置类型 参数名称 参数说明 参数配置 IF IF分支由[参数名称 比较条件 比较对象 值]组成一条件表达式。 参数名称：条件表达式左边部分，需要选择来自前序节点的输出参数。 比较条件：条件表达式中间部分，当前支持的比较条件有：长度大于、长度大于等于、长度小于、长度小于等于、等于、不等于、包含、不包含、为空、不为空。其中，针对不同的参数名称，将展示不同的比较条件，具体可以前端页面为准。 比较对象、值：条件表达式右边部分，支持“引用”和“输入”两种类型。 引用：支持用户选择工作流中已包含的前置节点输出变量值。 输入：支持用户自定义取值。 添加条件：单击“添加条件”，在当前分支添加多个条件表达式，多个条件表达式之间通过“且”或“或”来连接。 单击“且”或“或”，可以切换该分支表达式的运算逻辑。 ELSE 该参数将不满足其他条件分支的内容输出，并提供给后序节点的输出参数引用。 添加分支 可以添加新的分支ELSE IF，新分支的配置方式与IF分支相同。 图7 判断节点配置示例 节点配置完成后，单击“确定”。 连接判断节点和其他节点。

工作流节点配置说明 工作流节点，实现工作流嵌套工作流的效果。 在一个工作流中，你可以将另一个工作流作为其中的一个步骤或节点，实现复杂任务的封装。例如将常用的、标准化的任务处理流程封装为不同的子工作流，并在主工作流的不同分支内调用这些子工作流执行对应的操作。工作流嵌套可实现复杂任务的模块化拆分和处理，使工作流编排逻辑更加灵活、清晰、更易于管理。 工作流节点配置步骤如下： 拖动左侧“工作流”节点至画布中，单击该节点以打开节点配置页面。 参照表1 工作流节点配置说明，完成工作流节点的配置。 表6 工作流节点配置说明 配置类型 参数名称 参数说明 参数配置 输入参数 工作流节点的输入结构取决于子工作流定义的输入结构，不支持自定义设置 在工作流节点中你需要为输入参数指定数据来源，支持设置为固定值或引用上游节点的输出参数。 输出参数 工作流节点的输出结构取决于子工作流定义的输出结构，不支持自定义设置。 response_content为工作流固定输出参数 图5 工作流节点配置示例-子工作流 图6 工作流节点配置示例-工作流节点（输入和输出对应子工作流的输入和输出） 节点配置完成后，单击“确定”。 连接工作流节点和其他节点。

创建工作流（必选） 大模型工作流应用可以将NLP大模型编排至工作流中，编排完成后可以使用大模型回答用户问题。 创建工作流的步骤如下： 登录ModelArts Studio大模型开发平台，单击“Agent开发”，进入Agent开发平台。 单击左侧导航栏“工作台”，在“工作流”页签，单击右上角“创建工作流”。 在“创建工作流”页面，选择工作流类型。填写工作流名称、英文名称与工作流描述。 单击页面左下角的图片可修改工作流图标，单击“确定”，进入工作流编排页面。

大模型节点配置说明 大模型节点提供了使用大模型的能力，可在节点中配置已部署的模型，用户可以通过编写Prompt、设置参数让模型处理相应任务。 大模型节点为可选节点，若无需配置，可跳过该步骤。 大模型节点配置步骤如下： 拖动左侧“大模型”节点至画布中，单击该节点以打开节点配置页面。 参照表2，完成大模型节点的配置。 表2 大模型节点配置说明 配置类型 参数名称 参数说明 参数配置 输入参数 参数名称：只允许输入字母、数字、下划线，且不能以数字开头。 类型、值：支持“引用”和“输入”两种类型。 引用：支持用户选择工作流中已包含的前置节点的输出变量值。 输入：支持用户自定义取值。 输出参数 该参数用于解析大模型节点的输出，并提供给后序节点的输出参数引用。 参数名称：参数的名称长度必须大于等于1个字符，并且字符只允许为下面三种类型： 字母（A-Z或a-z） 数字（0-9） 特殊字符：_ 说明： 用户自定义输出参数名称不允许与内置输出参数rawOutput同名。大模型节点有一个内置输出参数rawOutput，代表该节点未经解析的原始输出，与大模型节点相连的后序节点可以直接引用该输出。 参数类型：输出参数的类型，可选String、Integer、Number、Boolean。 描述：对于该输出参数的描述。 输出格式：支持输出的格式包括文本、Markdown、JSON。 模型配置 模型选择 选择已部署的模型。 核采样 模型在输出时会从概率最高的词汇开始选择，直到这些词汇的总概率累积达到核采样值，核采样值可以限制模型选择这些高概率的词汇，从而控制输出内容的多样性。建议不要与温度同时调整。 温度 用于控制生成结果的随机性。调高温度，会使得模型的输出更具多样性和创新性；降低温度，会使输出内容更加遵循指令要求，但同时也会减少模型输出的多样性。 提示词配置 提示词 配置提示词，并选择是否打开记忆功能。 配置提示词时，支持使用{{variable}}格式引用当前节点输入参数中已定义好的参数。 提示词：大模型的系统提示词，用于指导模型更好的完成任务。 记忆：聊天记忆，打开后可记录多轮对话的内容。默认关闭。 图2 大模型节点配置示例 节点配置完成后，单击“确定”。 连接大模型节点和其他节点。

预测大模型评测指标说明 表1 预测大模型评测指标说明 模型类型 模型场景 评测指标（自动评测） 指标说明 预测大模型 回归 拟合度 预测值对真实值变动的解释程度，越接近于1，说明模型对真实值的拟合越好。 平均绝对误差 预测值与真实值之间差异的平均绝对值。它衡量了模型预测的平均偏差程度，值越小表示模型的预测越准确。 均方根误差 预测值与真实值之间差异的平方和的平均值的平方根。它与MAE类似，但对大误差给予更高的惩罚。 RMS E在一定程度上反映了模型预测的波动程度，值越小表示模型的预测越准确。 分类、异常检测 拟合度 查准率和查全率之间的平衡点，即F1分数。 准确率 预测正确的样本比例。 精确率 预测为正的样本中，实际为正的比率。 召回率 实际为正的样本，预测为正的比率。

统计预计大模型调用信息 模型推理接口除了使用Token认证鉴权进行调用外，也支持使用APP Code鉴权进行调用。对于APP Code鉴权产生的调用信息，可以使用平台的“调用统计”功能对调用量信息、时延信息进行统计。 登录ModelArts Studio平台，在“我的空间”模块，单击进入所需空间。 图1 我的空间 单击左侧导航栏“调用统计”。 选择当前调用的预测大模型，可以按照不同时间跨度查看当前模型调用信息。 父主题： 调用预测大模型

医学NLP大模型训练流程介绍 NLP大模型的训练分为两个关键阶段：预训练和微调。 预训练阶段：在这一阶段，模型通过学习大规模通用数据集来掌握语言的基本模式和语义。这一过程为模型提供了处理各种语言任务的基础，如阅读理解、文本生成和情感分析，但它还未能针对特定任务进行优化。 针对预训练阶段，还可以继续进行训练，这一过程称为增量预训练。增量预训练是在已经完成的预训练的基础上继续训练模型。增量预训练旨在使模型能够适应新的领域或数据需求，保持其长期的有效性和准确性。 微调阶段：基于预训练的成果，微调阶段通过在特定领域的数据集上进一步训练，使模型能够更有效地应对具体的任务需求。这一阶段使模型能够精确执行如文案生成、代码生成和专业问答等特定场景中的任务。在微调过程中，通过设定训练指标来监控模型的表现，确保其达到预期的效果。完成微调后，将对用户模型进行评估并进行最终优化，以确保满足业务需求，然后将其部署和调用，用于实际应用。 针对微调阶段，微调后的模型可以直接部署，也可以继续进行强化学习（DPO）训练，以进一步对齐任务场景下的用户偏好，例如模型回答的风格、模型的价值观等。注意，目前盘古NLP大模型仅支持对N4系列进行DPO微调训练。

医学NLP大模型训练类型选择建议 平台针对NLP大模型提供了三种训练类型，包括预训练、微调、强化学习（DPO），三者区别详见表3。 表3 预训练、微调训练类型区别 训练方式 训练目的 训练数据 模型效果 应用场景举例 预训练 关注通用性：预训练旨在让模型学习广泛的通用知识，建立词汇、句法和语义的基础理解。通过大规模的通用数据训练，模型可以掌握丰富的语言模式，如语言结构、词义关系和常见的句型。 使用大规模通用数据：通常使用海量的无监督数据（如文本语料库、百科文章），这些数据覆盖广泛的领域和语言表达方式，帮助模型掌握广泛的知识。 适合广泛应用：经过预训练后，模型可以理解自然语言并具备通用任务的基础能力，但还没有针对特定的业务场景进行优化。预训练后的模型主要用于多个任务的底层支持。 通过使用海量的互联网文本语料对模型进行预训练，使模型理解人类语言的基本结构。 微调 关注专业性：微调是对预训练模型的参数进行调整，使其在特定任务中达到更高的精度和效果。微调的核心在于利用少量的特定任务数据，使模型的表现从通用性向具体任务需求过渡。 使用小规模的特定任务数据：微调通常需要小规模但高质量的标注数据，直接与目标任务相关。通过这些数据，模型可以学习到任务特定的特征和模式。 在特定任务上具有更高的准确性：微调后的模型在具体任务中表现更优。相较于预训练阶段的通用能力，微调能使模型更好地解决细分任务的需求。 在一个客户服务问答系统中，可以用特定领域（如电商、保险）的对话数据对预训练模型进行微调，使其更好地理解和回答与该领域相关的问题。 此外，针对微调训练任务，平台提供了两种微调方式： 全量微调：适合有充足数据并关注特定任务性能的场景。在全量微调中，模型的所有参数都会调整，以适应特定任务的需求。这种方式适合样本量较大、对推理效果要求较高的任务。例如，在特定领域（如金融、医疗）中，若拥有大量标注数据，且需要更高的特定任务推理精度，则全量微调是优先选择。 LoRA微调：适用于数据量较小、侧重通用任务的情境。LoRA（Low-Rank Adaptation）微调方法通过调整模型的少量参数，以低资源实现较优结果，适合聚焦于领域通用任务或小样本数据情境。例如，在针对通用客服问答的场景中，样本量少且任务场景广泛，选择LoRA微调既能节省资源，又能获得较好的效果。 微调方式选择建议： 若项目中数据量有限或任务场景较为广泛，可以选择LoRA微调以快速部署并保持较高适用性。 若拥有充足数据且关注特定任务效果，选择全量微调有助于大幅提升在特定任务上的模型精度。

管理盘古工作空间 盘古工作空间支持用户查看当前空间详情，修改空间名称与描述，还可以对不需要的空间实现删除操作。 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 图3 我的空间 单击左侧导航栏的“空间管理”，在“空间设置”页签可执行如下操作： 修改当前空间名称与描述。 可查看当前空间的创建时间。 单击右上角“删除”，可删除当前空间。 删除空间属于高危操作，删除前请确保当前空间不再进行使用。

云上部署 部署参数说明如下： 表1 NLP大模型云上部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“NLP大模型”。 部署模型 选择需要进行部署的模型。 最大TOKEN长度 模型可最大请求的上下文TOKEN数。 部署方式 选择“云上部署”：指算法部署至平台提供的资源池中。 Deployed_Model：此名称是通过V2版本推理接口调用该推理服务时的唯一标识，创建后不支持修改；支持用户自定义字段。 安全护栏 版本选择 当前支持安全护栏基础版，内置了默认的 内容审核 规则。安全护栏保障模型调用安全。 资源配置 计费模式 限时免费/包年包月。 实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后，系统将在任务状态更新时，通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述（选填） 设置部署任务的描述。 参数填写完成后，单击“立即部署”。

CV大模型选择建议 选择合适的CV大模型类型有助于提升训练任务的准确程度。您可以根据模型适用场景，选择合适的模型，从而提高模型的整体效果，详见表1。 表1 CV大模型的类型 模型名称 适用场景 说明 Pangu-CV-物体检测-S-2.1.0 盘古计算机视觉物体检测大模型，该模型适用的任务是找出图像中所有感兴趣的目标，确定它们的位置和类别。适用于如积水检测、占道经营检测、人员离岗检测、动植物检测、工业缺陷检测等任务。 S模型特点是小参数量，适合在资源有限的环境中使用，提供较快的检测速度和合理的精度。支持全量微调，在线推理，边缘推理，1卡起训，1卡部署。 Pangu-CV-物体检测-N-2.1.0 该模型属于物体检测模型，旨在识别图像中的所有感兴趣目标，定位其位置并确定其类别。适用于各种任务，如：积水检测、占道经营检测、人员离岗检测、动植物检测、工业缺陷检测等。 2024年12月发布的版本，支持全量微调、在线推理。 物体检测-N模型为中参数量模型，在保证计算效率的同时，具备较强的特征识别能力，提供高效的性能表现。 Pangu-CV-图像分类-2.1.0 盘古计算机视觉图像分类大模型，根据在图像信息中所反映的不同特征，把不同类别的图像区分开来的图像处理方法，利用计算机视觉技术对图像进行定量分析，把图像划归为若干个类别中的一种或多种。适用于动植物分类、车辆类型分类、车牌分类、废钢定级、零部件分类等任务。 支持全量微调，在线推理，边缘推理，1卡起训，1卡部署。

专业大模型开发流程 ModelArts Studio大模型开发平台提供了专业大模型的部署功能。 专业大模型开发流程见图8、表8。 图8 专业大模型开发流程图 表8 专业大模型开发流程表 流程 子流程 说明 操作指导 准备工作 申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 申请试用盘古大模型服务ModelArts Studio大模型开发平台 订购盘古大模型服务 正式使用盘古大模型服务前，需要完成服务的订购操作。 订购服务 配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 创建并管理工作空间 开发盘古专业大模型 部署专业大模型 支持专业大模型的部署操作。 部署向量&重排大模型 管理盘古大模型空间资产 管理盘古模型资产 管理预置的专业大模型。 管理盘古模型资产

预测大模型开发流程 ModelArts Studio大模型开发平台提供了预测大模型的全流程开发支持，涵盖了从数据处理到模型训练、部署环节。 预测大模型开发流程见图6、表6。 图6 预测大模型开发流程图 表6 预测大模型开发流程表 流程 子流程 说明 操作指导 准备工作 申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 申请试用盘古大模型服务ModelArts Studio大模型开发平台 订购盘古大模型服务 正式使用盘古大模型服务前，需要完成服务的订购操作。 订购服务 配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 创建并管理工作空间 使用数据工程构建预测大模型数据集 导入数据至盘古平台 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 发布预测类数据集 对预测类数据集进行发布操作。 发布预测类数据集 开发盘古预测大模型 训练预测大模型 进行模型的训练，如微调训练方式。 训练预测大模型 部署预测大模型 模型训练完成后，执行模型的部署操作。 部署预测大模型 管理盘古大模型空间资产 管理盘古数据资产 管理从AI Gallery订阅或已发布的数据集。 管理盘古数据资产 管理盘古模型资产 管理预置或训练后发布的模型。 管理盘古模型资产

科学计算大模型开发流程 ModelArts Studio大模型开发平台提供了科学计算大模型的全流程开发支持，涵盖了从数据处理到模型训练、部署、调用的各个环节。 科学计算大模型开发流程见图7、表7。 图7 科学计算大模型开发流程图 表7 科学计算大模型开发流程表 流程 子流程 说明 操作指导 准备工作 申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 申请试用盘古大模型服务ModelArts Studio大模型开发平台 订购盘古大模型服务 正式使用盘古大模型服务前，需要完成服务的订购操作。 订购服务 配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 创建并管理工作空间 使用数据工程构建科学计算大模型数据集 导入数据至盘古平台 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工气象类数据集 对气象类数据集进行加工操作。 加工气象类数据集 发布气象类数据集 对气象类数据集进行发布操作。 发布气象类数据集 开发盘古科学计算大模型 训练科学计算大模型 进行模型的训练，如预训练、微调等训练方式。 训练科学计算大模型 部署科学计算大模型 将模型部署用于后续模型的调用操作。 部署科学计算大模型 调用科学计算大模型 支持“体验中心”功能与API两种方式调用大模型。 使用“体验中心”调用科学计算大模型 管理盘古大模型空间资产 管理盘古数据资产 管理从AI Gallery订阅或已发布的数据集。 管理盘古数据资产 管理盘古模型资产 管理预置或训练后发布的模型。 管理盘古模型资产

CV大模型开发流程 ModelArts Studio大模型开发平台提供了CV大模型的全流程开发支持，涵盖了从数据处理到模型训练、部署环节。 CV大模型开发流程见图5、表5。 图5 CV大模型开发流程图 表5 CV大模型开发流程表 流程 子流程 说明 操作指导 准备工作 申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 申请试用盘古大模型服务ModelArts Studio大模型开发平台 订购盘古大模型服务 正式使用盘古大模型服务前，需要完成服务的订购操作。 订购服务 配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 创建并管理工作空间 使用数据工程构建CV大模型数据集 导入数据至盘古平台 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工图片、视频类数据集 对图片、视频类数据集进行加工，包括加工、标注、配比操作。 加工图片类数据集、加工视频类数据集 发布图片、视频类数据集 对图片、视频类数据集进行发布，包括评估、发布操作。 发布图片类数据集、发布视频类数据集 开发盘古CV大模型 训练CV大模型 进行模型的训练，如微调等训练方式。 训练CV大模型 部署CV大模型 模型训练完成后，执行模型的部署操作。 部署CV大模型 管理盘古大模型空间资产 管理盘古数据资产 管理从AI Gallery订阅或已发布的数据集。 管理盘古数据资产 管理盘古模型资产 管理预置或训练后发布的模型。 管理盘古模型资产

NLP大模型开发流程 ModelArts Studio大模型开发平台提供了NLP大模型的全流程开发支持，涵盖了从数据处理到模型训练、压缩、部署、评测、调用的各个环节。 NLP大模型开发流程见图4、表4。 图4 NLP大模型开发流程图 表4 NLP大模型开发流程表 流程 子流程 说明 操作指导 准备工作 申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 申请试用盘古大模型服务ModelArts Studio大模型开发平台 订购盘古大模型服务 正式使用盘古大模型服务前，需要完成服务的订购操作。 订购服务 配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 创建并管理工作空间 使用数据工程构建NLP大模型数据集 导入数据至盘古平台 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集 对文本类数据集进行加工，包括加工、合成、标注、配比操作。 加工文本类数据集 发布文本类数据集 对文本类数据集进行发布，包括评估、发布操作。 发布文本类数据集 开发盘古NLP大模型 训练NLP大模型 进行模型的训练，如预训练、微调等训练方式。 训练NLP大模型 压缩NLP大模型 通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。 压缩NLP大模型 部署NLP大模型 将模型部署用于后续模型的调用操作。 部署NLP大模型 评测NLP大模型 评测NLP大模型的效果。 评测NLP大模型 调用NLP大模型 支持“体验中心”功能与API两种方式调用大模型。 调用NLP大模型 盘古NLP大模型应用开发 开发盘古大模型提示词工程 辅助用户进行提示词撰写、比较和评估等操作，并对提示词进行保存和管理。 开发提示词工程 开发盘古大模型Agent应用 基于NLP大模型，致力打造智能时代集开发、调测和运行为一体的AI应用平台。无论开发者是否拥有大模型应用的编程经验，都可以通过Agent平台快速创建各种类型的智能体。 开发Agent应用 管理盘古大模型空间资产 管理盘古数据资产 管理从AI Gallery订阅或已发布的数据集。 管理盘古数据资产 管理盘古模型资产 管理预置或训练后发布的模型。 管理盘古模型资产 管理盘古组件资产 管理预置或创建的组件。 管理盘古组件资产

预置模型使用流程 ModelArts Studio大模型开发平台提供了不同类型的预置模型，包括NLP大模型和科学计算大模型。用户可将预置模型部署为预置服务，用于后续的调用操作。 其中，NLP预置模型使用流程见图1、表1，科学计算预置模型使用流程见图2、表2。 图1 NLP预置模型使用流程图 表1 NLP预置模型使用流程表 流程 子流程 说明 操作指导 准备工作 申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 申请试用盘古大模型服务ModelArts Studio大模型开发平台 订购盘古大模型服务 正式使用盘古大模型服务前，需要完成服务的订购操作。 订购服务 配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 创建并管理工作空间 部署NLP大模型 创建NLP大模型部署任务 部署后的模型可用于后续调用操作。 创建NLP大模型部署任务 查看NLP大模型部署任务详情 查看部署任务的详情，包括部署的模型基本信息、任务日志等。 查看NLP大模型部署任务详情 管理NLP大模型部署任务 可对部署任务执行描述、删除等操作。 管理NLP大模型部署任务 调用NLP大模型 使用“体验中心”调用NLP大模型 使用该功能调用部署后的预置服务进行文本对话，支持设置人设和参数等。 使用“体验中心”调用NLP大模型 使用API调用NLP大模型 可调用API接口与NLP预置服务进行文本对话。 使用API调用NLP大模型 图2 科学计算预置模型使用流程图 表2 科学计算预置模型使用流程表 流程 子流程 说明 操作指导 准备工作 申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 申请试用盘古大模型服务ModelArts Studio大模型开发平台 订购盘古大模型服务 正式使用盘古大模型服务前，需要完成服务的订购操作。 订购服务 配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 配置服务访问授权 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 创建并管理工作空间 部署科学计算大模型 创建科学计算大模型部署任务 部署后的模型可用于后续调用操作。 创建科学计算大模型部署任务 查看科学计算大模型部署任务详情 查看部署任务的详情，包括部署的模型基本信息、任务日志等。 查看科学计算大模型部署任务详情 管理科学计算大模型部署任务 可对部署任务执行描述、删除等操作。 管理科学计算大模型部署任务 调用科学计算大模型 使用“体验中心”调用科学计算大模型 使用该功能调用部署后的预置服务对区域海洋要素等场景进行预测。 使用“体验中心”调用科学计算大模型 使用API调用科学计算大模型 可调用科学计算API接口对区域海洋要素等场景进行预测。 使用API调用科学计算大模型

数据工程使用流程 ModelArts Studio大模型开发平台提供了数据工程能力，帮助用户构造高质量的数据集，助力模型进行更好地预测和决策。 数据工程使用流程见图3、表3。 图3 数据工程使用流程图 表3 数据工程使用流程表 流程 子流程 说明 准备工作 申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 订购盘古大模型服务 正式使用盘古大模型服务前，需要完成服务的订购操作。 配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 加工数据集 加工数据集 通过专用的加工算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。 合成数据集 利用预置或自定义的数据指令对原始数据进行处理，并根据设定的轮数生成新数据。该过程能够在一定程度上扩展数据集，增强训练模型的多样性和泛化能力。 标注数据集 为无标签数据集添加准确的标签，确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式，用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 配比数据集 数据配比是将多个数据集按特定比例组合并生成为“加工数据集”的过程。通过合理的配比，确保数据集的多样性、平衡性和代表性，避免因数据分布不均而引发的问题。 发布数据集 评估数据集 平台预置了多种数据类型的基础评估标准，包括NLP、视频和图片数据，用户可根据需求选择预置标准或自定义评估标准，从而精确优化数据质量，确保数据满足高标准，提升模型性能。 发布数据集 数据发布是将单个数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。 平台支持发布的数据集格式为标准格式、盘古格式。 标准格式：平台默认的格式。该格式的数据集可发布为资产，但不可应用于盘古大模型的开发中。 盘古格式：训练盘古大模型时，需要发布为该格式。当前仅文本类、图片类数据集支持发布为盘古格式。

构建科学计算大模型数据集流程 在ModelArts Studio大模型开发平台中，使用数据工程创建盘古科学计算大模型数据集流程见表2。 表2 盘古科学计算大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工气象类数据集 加工气象类数据集 通过专用的加工算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。 加工气象类数据集 发布气象类数据集 发布气象类数据集 数据发布是将单个数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。 发布气象类数据集

使用“体验中心”调用科学计算大模型 体验中心功能支持用户调用预置或训练后的科学计算大模型。使用该功能前，请完成模型的部署操作，步骤详见创建科学计算大模型部署任务。 使用“体验中心”调用科学计算大模型可实现包括全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球海洋生态、全球海浪高度场景的预测能力。具体步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 图1 我的空间 在左侧导航栏中选择“体验中心”，单击“科学计算”页签。 完成页面参数配置。请参考表1。 表1 科学计算大模型体验中心参数说明 参数 说明 模型服务 支持选择用于启动推理作业的模型。 结果存储路径 用于存放模型推理结果的OBS路径。 输入数据 支持选择作为初始场数据的数据集。 预报天数 支持选择以起报时间点为开始，对天气要素或降水进行预报的天数，范围为1~14天。 起报时间 支持选择多个起报时间作为推理作业的开始时间，每个起报时间需为输入数据中存在的时间点。 集合预报 用于选择是否开启集合预报。 在气象预报中，集合预报是指对初始场加入一定程序的扰动，使其生成一组由不同初始场预报的天气预报结果，从而提供对未来天气状态的概率信息。这种方法可以更好地表达预报的不确定性，从而提高预报的准确性和可靠性。 集合成员数 用于选择生成预报的不同初始场的数量，取值为2~10。 扰动类型 用于选择生成集合预报初始场的扰动类型，仅支持perlin加噪方式。 Peilin噪音通过对输入数据（比如空间坐标）进行随机扰动，让模拟出的天气接近真实世界中的变化。 ensemble_noise_perlin_scale 用于选择集合预报的Perlin加噪强度。 ensemble_noise_perlin_x 用于选择集合预报的Perlin加噪x经度方向的尺度。 ensemble_noise_perlin_octave 用于选择集合预报的Perlin加噪octave。Perlin噪音的octave指的是噪音的频率，在生成Perlin噪音时，可以将多个不同频率的噪音叠加在一起，以增加噪音的复杂度和细节。每个频率的噪音称为一个octave，而叠加的octave数越多，噪音的复杂度也就越高。 ensemble_noise_perlin_y 用于选择集合预报的Perlin加噪y纬度方向的尺度。 输出设置 用于选择是否输出图片结果。 体验中心的参数配置示例如下： 图2 调测科学计算大模型示例 父主题： 调用科学计算大模型