检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图3 购买盘古大模型套件 对于前期邀测用户,如果未购买模型推理资产,仍可以使用公共资源池部署模型;对于购买推理资产的邀测用户,仅可以使用专属资源池部署模型。 对于新购买平台的用户,仅可购买并使用专属资源池。 父主题: 准备工作
pangu.dev.sdk.api.skill.Skills; import com.huaweicloud.pangu.dev.sdk.api.memory.vector.Vector; import com.huaweicloud.pangu.dev.sdk.api.memory.vector
Schema 工具输入参数。将API封装为工具时,调用该API的请求参数。请求体以json schema的形式进行描述,参数说明请参考官方指导。 output_schema 是 Json Schema 工具输出参数。将API封装为工具时,调用该API的响应参数。请求体以json
s-app-dev-java-bundle-2.4.0.jar</systemPath> </dependency> API手冊 API手册请参见SDK API 参考。 父主题: Java SDK
选择需要部署的模型。 推理资源 选择非限时免费的模型时显示。选择盘古大模型服务提供的在线推理资产。 部署方式 选择“在线部署”,即将算法部署至盘古大模型服务提供的资源池中。 推理资产 选择“已购资产”。 限时免费:使用免费的推理资源,仅支持部署一个实例。 已购资产:由用户购买的推理资源,实际可用推理单元由购买时的数量决定。
sdk.api.annotation.AgentTool; import com.huaweicloud.pangu.dev.sdk.api.annotation.AgentToolParam; import com.huaweicloud.pangu.dev.sdk.api.tool
"llm.custom.api.url"); if (StringUtils.isEmpty(url)) { throw new PanguDevSDKException("the llm.custom.api.url is not config");
3 pip install pymysql~=1.1.0 pip install SQLAlchemy~=2.0.19 API手册 API手册请参见SDK API 手册。 父主题: Python SDK
静态工具可以通过注解的方式新增,在run接口中实现工具的功能,例如: import com.huaweicloud.pangu.dev.sdk.api.annotation.AgentTool; import com.huaweicloud.pangu.dev.sdk.api.annotation
agentSession.getCurrentAction(); // 如果当前的action为capital,则返回capital的工具调用原始返回值 if ("capital".equals(currentAction.getAction())) {
import gradio as gr from pangukitsappdev.api.llms.llm_config import LLMParamConfig from pangukitsappdev.api.llms.factory import LLMs # 设置SDK使用的配置文件
通过API文档的概述、NLP大模型API和科学计算大模型API的详细介绍,您将全面理解如何调用和集成盘古大模型的各类接口,确保在不同场景中灵活应用这些强大的模型能力,加速业务开发进程。 API文档 NLP大模型 科学计算大模型 Token计算器 02 准备工作 使用盘古大模型服务前,需要
通多调用Agent的addListener接口添加一个监听器: from pangukitsappdev.agent.react_pangu_agent import ReactPanguAgent from pangukitsappdev.api.llms.factory import
SQLMessageHistory from pangukitsappdev.api.memory.cache.cache_config import ServerInfoSql, ServerInfoRedis from pangukitsappdev.api.memory.message_history_config
the open api call plugin_schema={} openapi_schema={}", toolMetadata.get("plugin_schema"), toolMetadata.get("openapi_schema"));
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要
session = agent.run_step(session) # 此时已经得到完整调用信息了,调用risk_detection API,将API返回结果给Agent继续执行 AgentSessionHelper.set_tool_output(session, "金财互联数据服务有限公司1月份存在异常经营风险")
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答(多轮对话)(/chat/completions)
部署盘古大模型 模型调用 使用“能力调测”调用模型 使用可视化的“能力调测”页面调用模型。 使用“能力调测”调用模型 使用API调用模型 通过API编写代码方式调用模型。 使用API调用模型 提示词工程 - 利用精心设计的提示词优化和引导大模型生成更加准确和相关的输出,提高模型在特定任务中的表现。
更新。这种方法通常会带来最优的模型性能,但需要大量的计算资源和时间,计算开销较高。 局部微调(LoRA):在模型微调过程中,只对特定的层或模块的参数进行更新,而其余参数保持冻结状态。这种方法在很多情况下可以显著减少计算资源和时间消耗,且依旧可以保持较好的模型性能。 训练模型 选择