检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型支持的操作 在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评估、模型压缩和在线推理等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是各个模型支持的具体操作: 表1 模型支持的操作 模型 预训练 微调 模型评估 模型压缩
实例化Tool Tool分为StaticTool(静态工具)和DynamicTool(动态工具)两类,静态工具需要开发者事先定义好,即在编译期定义与实例化;动态工具开发者可以在系统运行时动态构建,即在运行态定义与实例化。 StaticTool(静态工具) 静态工具可以通过继承To
Agent流式输出 Agent用于工具调用场景,与普通的LLM流式输出相比,区分了文本流与工具流。文本流将输出模型的思考过程和最终结果;工具流将输出工具的调用过程,而工具的调用的执行结果是通过监听获取的。 通过如下接口为Agent添加流式输出的回调: from pangukitsappdev
终端节点 终端节点(endpoint)即API服务的终端地址,通过该地址与API进行通信和交互。获取步骤如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“概览
将由用户自定义,将在后续示例中说明。 此外,上述例子使用的向量数据库配置指定索引名称,以及使用name和description作为向量化字段,因此工具入库时,会将工具的name和description进行向量化,并在后续的检索中生效。 注意,上述toolList中包含的工具在SDK中并不存在,需要替换成实际的工具。
多轮对话 支持上下文记忆的多轮对话。 初始化 from pangukitsappdev.skill.conversation_skill import ConversationSkill from pangukitsappdev.api.llms.factory import LLMs skill
、平台管理(资产管理、权限管理)功能的使用权限。 推理服务API调用人员 具备总览、服务管理、能力调测、平台管理(权限管理)、运营面板功能的使用权限。 Prompt工程人员 具备总览、应用百宝箱、服务管理、能力调测、数据工程(提示用例管理)、应用开发(提示词工程、提示词管理、工具
在页面右上角的用户名的下拉列表中选择“我的凭证”。 图1 我的凭证 在“我的凭证”页面,获取项目ID(project_id),以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时,获取的项目id需要与盘古服务部署区域一致,例如盘古大模型当前部署在“西南-贵阳一”区域,需要获取与贵阳一区域的对应的项目id。
体验盘古驱动的应用百宝箱 应用百宝箱是盘古大模型为用户提供的便捷AI应用集,用户可在其中使用盘古大模型预置的场景应用和外部应用,轻松体验大模型开箱即用的强大能力。 体验盘古预置模型能力前,请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台,在左侧导航栏中选择“应用百宝箱”,进入“应用百宝箱”页面。
池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型(盘古-NLP-N2-基础功能模型)和基于N2的模型(盘古-NLP-N2-基模型、盘古-NLP-N2-基础功能模型、盘古-NLP-N2-SQL模型、盘古-NLP-N2-Agent
体验盘古驱动的应用百宝箱 应用百宝箱是盘古大模型为用户提供的便捷AI应用集,用户可在其中使用盘古大模型预置的场景应用和外部应用,轻松体验大模型开箱即用的强大能力。 体验盘古预置模型能力前,请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台,在左侧导航栏中选择“应用百宝箱”,进入“应用百宝箱”页面。
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于Pangu服务接口,如果调用后返回状态码为“200”,则表示请求成功。 响应消息头 对应请求消息
证”。 公有云API同时支持使用AK/SK认证,AK/SK认证是使用SDK对请求进行签名,签名过程会自动往请求中添加Authorization(签名认证信息)和X-Sdk-Date(请求发送的时间)请求头。AK/SK认证的详细说明请参见:AK/SK。 添加消息头后的请求如下所示:
要准确完整的语义,符合主流价值观,并且文本中不能存在异常字符、分行异常等影响模型训练的问题。问题和答案需要匹配,且不能有空值。 文件类型为CSV:每一行代表一个问答对,确保每个问题和答案的数据都以逗号分隔,每行的数据完整且格式正确,文件中每个字段或列都应有适当的数据类型,例如文本
token超时(token expires) ,请重新获取token,使用不过期的token。 请检查AK/SK是否正确(AK对应的SK错误,不匹配;AK/SK中多填了空格)。 AK/SK频繁出现鉴权出错,连续错误5次以上,被锁定5分钟(5分钟内,则一直认为其是异常的鉴权请求),5分钟后解锁重新认证。
要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region)
@Slf4j public class CustomLLM extends AbstractLLM<LLMResp> { /** * 初始化 * * @param llmConfig llm参数配置 */ public CustomLLM(LLMConfig
Agent(智能代理),用于对复杂任务的自动拆解与外部工具调用执行,一般包括任务规划、记忆系统和执行系统。 任务规划:将复杂目标任务分解为小的可执行子任务,通过评估、自我反思等方式提升规划成功率。 记忆系统:通过构建记忆模块去管理历史任务和策略,并让Agent结合记忆模块中相关的信息以获取最优化任务解决策略。
在左侧导航栏中选择“应用开发 > 工具管理”,单击页面右上角“创建工具”。 图1 工具管理 在“创建工具”页面参考表1完成工具代码的设置。 表1 创建工具参数说明 参数 是否必选 参数类型 描述 tool_id 是 String 工具ID,必须由英文小写字母和_组成,需要符合实际工具含义。
Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询,通过向量和相似度的计算,实现对数据的语义理解和检索。 Vector向量存储: