检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
import gradio as gr from pangukitsappdev.api.llms.llm_config import LLMParamConfig from pangukitsappdev.api.llms.factory import LLMs # 设置SDK使用的配置文件
agentSession.getCurrentAction(); // 如果当前的action为capital,则返回capital的工具调用原始返回值 if ("capital".equals(currentAction.getAction())) {
from pangukitsappdev.api.memory.cache.cache_config import CacheStoreConfig, ServerInfoRedis from pangukitsappdev.api.embeddings.factory import
理解),提取检索文档中的有效信息,完成问题的回答。 除了上述提到的四个模块以外,还需要一个编排流程的pipeline,将这些模块提供的API接口进行编排,串联query改写、意图识别模块、检索模块和问答模块。该pipeline负责接收前端用户输入的query和历史问答,逐步处理并最终输出答案,展示在前端界面。
通多调用Agent的addListener接口添加一个监听器: from pangukitsappdev.agent.react_pangu_agent import ReactPanguAgent from pangukitsappdev.api.llms.factory import
SQLMessageHistory from pangukitsappdev.api.memory.cache.cache_config import ServerInfoSql, ServerInfoRedis from pangukitsappdev.api.memory.message_history_config
the open api call plugin_schema={} openapi_schema={}", toolMetadata.get("plugin_schema"), toolMetadata.get("openapi_schema"));
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答(多轮对话)(/chat/completions)
session = agent.run_step(session) # 此时已经得到完整调用信息了,调用risk_detection API,将API返回结果给Agent继续执行 AgentSessionHelper.set_tool_output(session, "金财互联数据服务有限公司1月份存在异常经营风险")
主账号(最终租户)默认拥有系统管理员权限,支持给子账号分配角色。 角色包括:推理服务API调用人员、模型开发人员、运营人员、Prompt工程人员、系统管理员。 图9 设置用户角色 表2 角色和功能关系 功能 推理服务API调用人员 模型开发人员 运营人员 Prompt工程人员 系统管理员 总览
部署盘古大模型 模型调用 使用“能力调测”调用模型 使用可视化的“能力调测”页面调用模型。 使用“能力调测”调用模型 使用API调用模型 通过API编写代码方式调用模型。 使用API调用模型 提示词工程 - 利用精心设计的提示词优化和引导大模型生成更加准确和相关的输出,提高模型在特定任务中的表现。
agent.react_pangu_agent import ReactPanguAgent from pangukitsappdev.api.llms.factory import LLMs agent = ReactPanguAgent(LLMs.of("pangu", l
检查开发环境要求,确认本地已具备开发环境。 开通盘古大模型API。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 通用文本(文本补全):文本补全接口提供单轮文本能力,常用于文本生成、文本摘要、闭卷问答等任务。
盘古模型信息,根据实际情况填写 sdk.llm.pangu.url= 工程实现。 import docx from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.skill.doc.summary import
skill.doc.summary import DocSummaryMapReduceSkill from pangukitsappdev.api.llms.factory import LLMs # 设置SDK使用的配置文件 os.environ["SDK_CONFIG_PATH"]
pangu.dev.sdk.api.agent.Agent; import com.huaweicloud.pangu.dev.sdk.api.annotation.AgentTool; import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;
huaweicloud.pangu.dev.sdk.skill.DocSkill; import com.huaweicloud.pangu.dev.sdk.api.skill.Skills; import com.huaweicloud.pangu.dev.sdk.documentloader.splitter
息可以增强模型的理解和回答能力。 该参数需要与工具配合使用,需要填入工具input_schema参数中API的请求参数。例如,在配置AI助手工具的代码示例中,创建预定会议室API的请求参数中有start,设置为start,即将会议的开始相关的信息作为关键信息,带入新轮次的对话中。
aS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措