检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
盘古应用开发SDK概述 应用开发SDK概述 应用开发SDK针对大模型应用开发场景,对大语言模型进行封装,提供了语言模型、提示词模板、记忆、技能、智能代理等功能模块,简化用户的开发工作,帮助用户快速开发一个大模型应用。当前应用开发SDK支持如下语言: Python Java 开发环境要求
盘古应用开发SDK 盘古应用开发SDK概述 盘古应用开发SDK使用前准备 Python Java 盘古应用开发SDK实践
盘古应用开发SDK实践 模型基础问答能力应用开发(Python SDK) 模型长文本摘要能力应用开发(Python SDK) 模型Agent助手应用开发(Java SDK) 父主题: 盘古应用开发SDK
盘古应用开发SDK使用前准备 使用盘古大模型应用开发SDK时,需要在代码中配置以下信息,请提前收集。 表1 配置项说明及获取方式 类型 资源 是否必选 相关配置项 说明 配置项值获取方式 IAM认证 - 是 sdk.iam.url Token认证调用URL。 示例:POST ht
模型Agent助手应用开发(Java SDK) 应用介绍 通过模型对复杂任务的自动拆解与外部工具调用执行能力,通过与用户多轮对话,实现会议室预订场景。 环境准备 Java 1.8。 参考安装章节,完成基础环境准备。 盘古大语言模型。 开发实现 创建配置文件llm.properties,
模型基础问答能力应用开发(Python SDK) 应用介绍 基础的大语言模型问答场景。涉及模型问答,流式效果等相关特性。 环境准备 python3.9 及以上版本。 安装依赖的组件包, pip install pangu_kits_app_dev_py gradio。 盘古大语言模型。
模型长文本摘要能力应用开发(Python SDK) 应用介绍 切割长文本,利用大模型逐步总结,如对会议/报告/文章等总结概述。涉及长文本分割、摘要等相关特性。 环境准备 python3.9 及以上版本。 安装依赖的组件包, pip install pangu_kits_app_dev_py
富的开发SDK,应用开发工具链加速大模型应用的开发,满足复杂业务需求。 支持区域: 西南-贵阳一 开发盘古大模型提示词工程 开发盘古大模型Agent应用 盘古应用开发SDK 能力调测 盘古大模型提供了便捷的“能力调测”功能,用户可以体验平台预置的多种模型功能,如文本对话功能。 只
盘古大模型套件使用流程 盘古大模型套件平台是一款功能强大、集成度高的大模型开发与应用平台。该平台全面支持大模型的数据管理、清洗与配比,涵盖预训练与微调功能。此外,平台还提供了强大的模型部署、评估与调用功能,确保模型能够在生产环境中高效应用。平台支持提示词工程、AI助手及SDK开发,满足多样化业务需求
配置Memory(Python SDK) 配置Skill(Python SDK) 配置Agent(Python SDK) 父主题: 盘古应用开发SDK
配置Prompt(Java SDK) 配置Memory(Java SDK) 配置Skill(Java SDK) 配置Agent(Java SDK) 父主题: 盘古应用开发SDK
同环境中的高效应用。 应用开发套件 应用开发套件是盘古大模型平台的关键模块,支持提示词工程和AI助手创建。该套件提供提示词设计和管理工具,优化大模型的输入提示,提升输出的准确性和相关性。通过丰富的开发SDK,应用开发套件加速大模型应用的开发,满足复杂业务需求。
配置Memory(Python SDK) Memory(记忆)模块结合外部存储为LLM应用提供长短期记忆功能,用于支持上下文记忆的对话、搜索增强等场景。 Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。
配置Agent(Java SDK) Agent(智能代理),用于对复杂任务的自动拆解与外部工具调用执行,一般包括任务规划、记忆系统、执行系统: 任务规划:将复杂目标任务分解为小的可执行子任务,通过评估、自我反思等方式提升规划成功率。 记忆系统:通过构建记忆模块去管理历史任务和策略
架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key,配置项为: sdk.llm.openai.url=https://infer-app-modelarts-cn-southwest-2.myhuaweicloud
environ["SDK_CONFIG_PATH"] = "./llm.properties" 完整配置项如下: 各配置项获取方式及说明见盘古应用开发SDK使用前准备。 配置项中的密码等字段建议在配置文件或者环境变量中密文存放,使用时解密,确保安全,详见配置文件敏感信息加密配置。 ##
配置Memory(Java SDK) Memory(记忆)模块结合外部存储为LLM应用提供长短期记忆能力,用于支持上下文记忆的对话、搜索增强等场景。 Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。缓存
配置Skill(Java SDK) 配置基础问答能力(Java SDK) 配置多轮对话能力(Java SDK) 配置文档问答能力(Java SDK) 配置文档摘要能力(Java SDK) 父主题: Java
配置Skill(Python SDK) 配置基础问答能力(Python SDK) 配置多轮对话能力(Python SDK) 配置文档问答能力(Python SDK) 配置文档摘要能力(Python SDK) 父主题: Python
actual_tokens.append(token) 流式问答:支持skill和agent流式输出。 import sys from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.llms