检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署为在线服务 模型训练完成后,即模型处于“已完成”状态时,可以启动模型的部署操作。 基于盘古大模型打造的专业大模型包括BI专业大模型与单场景大模型支持模型推理,但不支持模型训练。 部署为在线服务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“部署”。
通过结合多种工具并利用大模型的对话问答、规划推理、逻辑判断等能力,来理解和回应用户的需求。 例如,需要构建一个企业助理应用,该应用需要具备预定会议室、创建在线文档和查询报销信息等功能。在构建此应用时,需要将预定会议室与创建在线文档等功能的API接口定义为一系列的工具,并通过AI助
配置AI助手工具 各种功能的API经封装后,将形成一个个工具,AI助手通过大模型来调用不同的工具,实现相应的功能。在创建AI助手前,需要将使用的功能封装为工具。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 工具管理”,单击页面右上角“创建工具”。 图1 工具管理 在“
Tool分为StaticTool(静态工具)和DynamicTool(动态工具)两类。静态工具需要开发者事先定义好,即在编译期定义与实例化。对于动态工具,开发者可以在系统运行时动态构建,即在运行态定义与实例化。 StaticTool(静态工具) 静态工具可以通过注解的方式新增,在run接口中实现工具的功能,例如:
Tool分为StaticTool(静态工具)和DynamicTool(动态工具)两类,静态工具需要开发者事先定义好,即在编译期定义与实例化;动态工具开发者可以在系统运行时动态构建,即在运行态定义与实例化。 StaticTool(静态工具) 静态工具可以通过继承Tool的方式新增,在_run接口中实现工具的功能,例如:
Agent流式输出 Agent用于工具调用场景,与普通的LLM流式输出相比,区分了文本流与工具流。文本流将输出模型的思考过程和最终结果;工具流将输出工具的调用过程,而工具的调用的执行结果是通过监听获取的。 通过如下接口为Agent添加流式输出的回调: from pangukitsappdev
add_tool(ReverseTool()) agent.add_tool(AddTool()) agent.add_tool(SearchTool()) 静态工具和动态工具的注册方式相同,通过addTool接口进行注册。 通过set_max_iterations可以设置最大迭代次数,控制Agent子规划的
调用盘古大模型API 用户可以通过API调用盘古大模型服务的基模型以及用户训练后的模型。训练后的模型只有在使用“在线部署”功能时,才可以使用本章节提供的方法进行调用。本章节将介绍如何使用Postman调用API,仅供测试使用。 前提条件 使用API调用模型前,请先完成盘古大模型服务订购和开通操作。
使用API调用模型 用户可以通过API调用盘古大模型服务提供的基模型以及用户训练后的模型。训练后的模型需使用“在线部署”,才可以使用本章节提供的方法进行调用。本章节分别介绍使用Postman调用API和多语言(Java/Python/Go)调用API的方法,仅供测试使用。 前提条件
Agent流式输出 Agent用于工具调用场景,与普通的LLM流式输出相比,提供了事件流的封装。消息内容、工具调用等通过不同的事件类型区分。 通过如下接口为Agent添加流式输出的回调: /** * 设置流式接口回调函数 * * @param streamAgentCallback
ion作为向量化字段,因此工具入库时,会将工具的name和description进行向量化,并在后续的检索中生效。 注意,上述tool_list中包含的工具在SDK中并不存在,需要替换成实际的工具。 向ToolRetriever中添加工具: # 添加工具 css_tool_retriever
ion作为向量化字段,因此工具入库时,会将工具的name和description进行向量化,并在后续的检索中生效。 注意,上述toolList中包含的工具在SDK中并不存在,需要替换成实际的工具。 向ToolRetriever中添加工具: // 添加工具 cssToolRetriever
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同,具体步骤请参考使用API调用模型。 父主题: 部署为边缘服务
型能力的入口。用户可以通过在“能力调测”页面选择调用基模型或训练后的模型。 训练后的模型需要“在线部署”且状态为“运行中”时,才可以使用本章节提供的方法进行调测,具体步骤请参见部署为在线服务。 文本补全:给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全。例如,让
ModelArts Studio大模型开发平台承载,它提供了包括盘古大模型在内的多种大模型服务,提供覆盖全生命周期的大模型工具链。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深,带您玩转盘古大模型 01 了解 了解盘古大模型的概念、优势、应用场景以及模型能力与规格
"meetingRoom": "A01"} 同样的,可以通过AgentSession的status判断此时是否需要调用工具,如果需要调用工具,可以从currentAction中获取需要调用的工具信息。 当提交了工具调用结果后,第三次printPlan打印的结果为: 用户: 定个2点-4点的会议 助手: 好的,请问您想预定哪一个会议室?
agent.addTool(new AddTool()); agent.addTool(new SearchTool()); } 静态工具和动态工具的注册方式相同,通过addTool接口进行注册。 通过setMaxIterations可以设置最大迭代次数,控制Agent子规划的最大
常经营风险。 - 步骤1: 思考:好的,我将使用企业健康体检工具来查询方欣科技有限公司今年1月的经营异常风险。首先,我需要确认工具调用的参数。根据工具定义,需要的参数包括"report_type"和"company_name"。用户已经提供了公司名称"方欣科技有限公司"
为至关重要。不同模型在预训练、微调、模型评估、模型压缩和在线推理等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是各个模型支持的具体操作: 表1 模型支持的操作 模型 预训练 微调 模型评估 模型压缩 在线推理 盘古-NLP-N1-基础功能模型-32K - √ -
功能总览 功能总览 全部 数据工程工具链 模型开发工具链 应用开发工具链 能力调测 应用百宝箱 数据工程工具链 数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格