检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Java 安装SDK(Java SDK) 配置SDK(Java SDK) 配置LLMs(Java SDK) 配置Prompt(Java SDK) 配置Memory(Java SDK) 配置Skill(Java SDK) 配置Agent(Java SDK) 父主题: 盘古应用开发SDK
盘古应用开发SDK实践 模型基础问答能力应用开发(Python SDK) 模型长文本摘要能力应用开发(Python SDK) 模型Agent助手应用开发(Java SDK) 父主题: 盘古应用开发SDK
dev.sdk.agent.ReactPanguAgent; import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; public static void initAgent() { LLM llm = LLMs.of(LLMs
配置Memory(Java SDK) Memory(记忆)模块结合外部存储为LLM应用提供长短期记忆能力,用于支持上下文记忆的对话、搜索增强等场景。 Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。缓存
盘古应用开发SDK 盘古应用开发SDK概述 盘古应用开发SDK使用前准备 Python Java 盘古应用开发SDK实践
huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.Template.KV; import com.huaweicloud.pangu.dev.sdk.api.skill.base.SimpleSkill;
具备总览、平台管理(资产管理、权限管理)功能的权限。 模型开发人员 具备总览、服务管理、能力调测、数据工程(数据管理、数据清洗)、模型开发(模型管理、模型训练、模型评估、模型压缩、模型部署)、平台管理(资产管理、权限管理)功能的使用权限。 推理服务API调用人员 具备总览、服务管理、能力调测、平台管理(权限管理)、运营面板功能的使用权限。
userguide/clusterscheduling/dlug_scheduling_02_000001.html 父主题: 部署为边缘服务
例如,需要构建一个企业助理应用,该应用需要具备预定会议室、创建在线文档和查询报销信息等功能。在构建此应用时,需要将预定会议室与创建在线文档等功能的API接口定义为一系列的工具,并通过AI助手,将这些工具与大模型进行绑定。当用户向AI助手提问时,大模型就会根据用户的问题自动规划调用相应工具,从而实现对应的功能。
大模型是否可以自定义人设 大模型支持设置人设,在用户调用对话问答(chat/completions)API时,可以将“role”参数设置为system,让模型按预设的人设风格回答问题。例如,以下示例要求模型以幼儿园老师的风格回答问题。 { "messages": [
池的实际资源选择),输入服务名称,单击“立即创建”。 创建成功后,可在“模型部署 > 边缘部署”,查看边缘部署列表。 单击“服务名称”可进入服务详情界面。 如果服务部署状态为“部署失败”,可单击服务操作列的“启动”按钮,重新部署。 父主题: 部署为边缘服务
/etc/hccn.conf,确保有如下回显网卡信息,则配置完成。 配置NFS网盘服务。 大模型采用镜像+模型分开的方式部署时,需要有一个节点来提供NFS网盘服务,创建部署时通过NFS挂载的方式访问模型。 父主题: 部署为边缘服务
Agent用于工具调用场景,与普通的LLM流式输出相比,提供了事件流的封装。消息内容、工具调用等通过不同的事件类型区分。 通过如下接口为Agent添加流式输出的回调: /** * 设置流式接口回调函数 * * @param streamAgentCallback 事件流回调 */ void s
pangu.dev.sdk.api.skill.Skills; import com.huaweicloud.pangu.dev.sdk.api.memory.vector.Vector; import com.huaweicloud.pangu.dev.sdk.api.memory.vector
dev.sdk.api.embedings.Embeddings; import com.huaweicloud.pangu.dev.sdk.api.memory.bo.Document; import com.huaweicloud.pangu.dev.sdk.api.memory
请改写命令案例,生成10个相似命令,保证每个命令都可以调用正确的指标接口。 请注意: 1. 命令必须契合人类常见的提问方式,命令方式必须保证多样化 2. 生成的命令只能改写命令案例中文表达部分的内容 指标接口名称:利润的平均值、市值的平均值 命令案例:科技行业公司的平均利润和市值是多少
pangu.dev.sdk.api.skill.Skills; import com.huaweicloud.pangu.dev.sdk.api.memory.vector.Vector; import com.huaweicloud.pangu.dev.sdk.api.memory.vector
dev.sdk.api.embedings.Embeddings; import com.huaweicloud.pangu.dev.sdk.api.llms.response.LLMResp; import com.huaweicloud.pangu.dev.sdk.api.memory
deployment_id} (/chat/completions在SDK代码中已进行设置)。 盘古大模型API调用URL获取方式详见《API参考》“如何调用REST API” sdk.llm.pangu.iam.url sdk.llm.pangu.iam.domain sdk.llm
s-app-dev-java-bundle-2.4.0.jar</systemPath> </dependency> API手冊 API手册请参见SDK API 参考。 父主题: Java