检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移盘古大模型 模型训练完成后,可以通过迁移(导入模型、导出模型)功能将本局点训练的模型导出,或将其他局点训练的模型导入本局点进行使用。 支持迁移操作的模型可以在“模型开发 > 模型管理 > 我的模型”中查看。
图1 工具管理 在“创建工具”页面参考表1完成工具代码的设置。 表1 创建工具参数说明 参数 是否必选 参数类型 描述 tool_id 是 String 工具ID,必须由英文小写字母和_组成,需要符合实际工具含义。
该工具链具备模型训练、部署、推理等功能,通过高效的推理性能和跨平台迁移工具,模型开发工具链能够保障模型在不同环境中的高效应用。
base 2.9.15 公网IP:100.85.220.207 root密码: CPU架构:aarch64(登录设备,执行arch命令查看) worker bms-panguXXXX CPU:鲲鹏(4*48Core@2.6GHz) 内存:24*64GB DDR4 RAM(GB)
该套件具备模型管理、训练、评估、压缩、部署、推理和迁移等功能,支持模型的自动化评估,确保模型的高性能和可靠性。通过高效的推理性能和跨平台迁移工具,模型开发套件能够保障模型在不同环境中的高效应用。 应用开发套件 应用开发套件是盘古大模型平台的关键模块,支持提示词工程和AI助手创建。
实例化Tool Tool分为StaticTool(静态工具)和DynamicTool(动态工具)两类。静态工具需要开发者事先定义好,即在编译期定义与实例化。对于动态工具,开发者可以在系统运行时动态构建,即在运行态定义与实例化。
工具的标识,建议为英文且与实际工具含义匹配,在同一个Agent中唯一。 description。工具的描述,建议为中文,尽可能的简短描述工具。 principle。何时使用该工具,为重要参数,该描述直接影响LLM对工具使用的判断,尽量描述清楚。
Tool Retriever Agent在实际生产应用中往往涉及到的工具数量较多,如果把所用的工具全部添加至Agent会产生如下问题: 占用大量输入token。 和问题无关的工具太多,影响模型的判断。
Agent流式输出 Agent用于工具调用场景,与普通的LLM流式输出相比,区分了文本流与工具流。文本流将输出模型的思考过程和最终结果;工具流将输出工具的调用过程,而工具的调用的执行结果是通过监听获取的。
Tool Retriever Agent在实际生产应用中往往涉及到的工具数量较多,如果把所用的工具全部添加至Agent会产生如下问题: 占用大量输入token。 和问题无关的工具太多,影响模型的判断。
盘古大模型能力通过ModelArts Studio大模型开发平台承载,它提供了包括盘古大模型在内的多种大模型服务,提供覆盖全生命周期的大模型工具链。
实例化Agent Agent实例化过程包括注册LLM和注册工具两个部分。
Agent流式输出 Agent用于工具调用场景,与普通的LLM流式输出相比,提供了事件流的封装。消息内容、工具调用等通过不同的事件类型区分。
迁移能力强 盘古大模型的迁移能力是其适应多变业务需求的关键。除了在已有领域中表现出色,它还能通过少量的新数据快速迁移到新的领域或场景。这种迁移能力使模型能够在面对新挑战时迅速调整和优化,提供适应新领域的服务。
在构建此应用时,需要将预定会议室与创建在线文档等功能的API接口定义为一系列的工具,并通过AI助手,将这些工具与大模型进行绑定。当用户向AI助手提问时,大模型就会根据用户的问题自动规划调用相应工具,从而实现对应的功能。
实例化Agent Agent实例化过程包括注册LLM和注册工具两个部分。
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量,提供费用预估,并优化数据预处理策略。
需要先分别调用query_receipt工具查询用户单据和query_reimbursement_ratio工具查询最大报销比例。"
(); log.info("Agent的状态为{},不为{},所以需要调用工具,调用的工具为{},入参为{}", agentSession.getAgentSessionStatus(), AgentSessionStatus.FINISHED
* - 步骤1: * 思考:好的,我需要调用meeting_agent工具来预定会议室。该工具需要一个字符串类型的必须参数arg。现在我将调用meeting_agent工具预定会议室。