检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义模型 如果使用的模型不是盘古或者兼容OpenAI-API的开源模型,如,闭源模型或者裸机部署的自定义推理服务,可以通过继承AbstractLLM自定义一个模型,示例代码如下: @Slf4j public class CustomLLM extends AbstractLLM<LLMResp>
创建一个训练数据集 训练数据集是用于模型训练的实际数据集。通常,通过创建一个新的数据集步骤,可以生成包含某个特定场景数据的数据集。例如,这个数据集可能只包含用于训练摘要提取功能的数据。然而,在实际模型训练中,通常需要结合多种任务类型的数据,而不仅限于单一场景的数据。因此,实际的训
在OBS中创建文件目录,并在目录中上传数据文件。 创建一个新的数据集 创建数据集前,需按要求将数据文件上传至OBS。 登录盘古大模型套件平台,左侧导航栏中选择“数据工程 > 数据管理”,单击界面右上角“创建数据集”。 图7 数据管理 在创建数据集弹出框中选择“创建一个新的数据集”,单击“创建”。 图8
void onSessionEnd(AgentSession agentSession) { } } 定义一个监听器 通过实现AgentListener定义一个监听器: import com.huaweicloud.pangu.dev.sdk.api.agent.AgentListener;
Tool分为StaticTool(静态工具)和DynamicTool(动态工具)两类。静态工具需要开发者事先定义好,即在编译期定义与实例化。对于动态工具,开发者可以在系统运行时动态构建,即在运行态定义与实例化。 StaticTool(静态工具) 静态工具可以通过注解的方式新增,在run接口中实现工具的功能,例如:
BulkData; import java.util.ArrayList; import java.util.Arrays; import java.util.Collections; import java.util.HashMap; import java.util.List; import
Tool分为StaticTool(静态工具)和DynamicTool(动态工具)两类,静态工具需要开发者事先定义好,即在编译期定义与实例化;动态工具开发者可以在系统运行时动态构建,即在运行态定义与实例化。 StaticTool(静态工具) 静态工具可以通过继承Tool的方式新增,在_run接口中实现工具的功能,例如:
FIND_ANTONYMS = "给定一个单词:{{word}},返回一个反义词:{{antonym}}"; } import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map;
"description")) .build()); 定义一个ToolRetriever包含ToolProvider和向量数据库配置2个参数。其中,ToolProvider的作用为根据工具检索的结果组装工具。 上述例子使用了一个简单的InMemoryToolProvider,InM
Java SDK 安装SDK 配置SDK LLMs(语言模型) Prompt(提示词模板) Memory(记忆) Skill(技能) Agent(智能代理) 应用示例 父主题: 盘古应用开发SDK
中相关的信息以获取最优化任务解决策略。 任务执行:能通过工具与外界发生联系并产生影响,工具可以自定义,包括查询信息、调用服务、网络搜索、文件管理、调用云服务等,通过Agent构建一个让LLM按照特定的规则迭代运行的Prompt,直到任务完成或者达到终止条件(如设置迭代次数)。 实例化Tool
url为自定义的url地址(名字由开发者任意指定,或直接传入url地址),可以指向不同的模型,因此llm1为一个大模型;而llm2没有指定config,默认使用sdk.llm.pangu.url,若地址与custom.llm.url,则为另外一个大模型。 自定义参数问答:自定义设置如
content("再定一个明天8点到9点的会议室").build()); panguAgent.run(messages); 运行结果示例: 用户: 定个2点-4点的会议,A01会议室 助手: 已为您预定 A01会议室,时间为2024年5月7日下午2点到4点。 用户: 再定一个明天8点到9点的会议室
大模型是否可以自定义人设 大模型支持设置人设,在用户调用对话问答(chat/completions)API时,可以将“role”参数设置为system,让模型按预设的人设风格回答问题。例如,以下示例要求模型以幼儿园老师的风格回答问题。 { "messages": [
:return: bool类型结果 """ return False 定义一个监听器 通过实现AgentListener定义一个监听器: from pangukitsappdev.agent.agent_session import AgentSession
properties,需要在项目中主动设置,方法如下: 在resources路径下,创建llm.properties文件,并根据实际需要配置相应的值。 如果需要自定义配置文件名,可以参考以下代码设置。 // 建议在业务项目入口处配置 // 不需要添加.properties后缀 ConfigLoadUtil
pp-dev-java</artifactId> <version>2.4.0</version> </dependency> 本地导入 下载SDK包,将pangu-kits-app*.jar文件放在项目目录lib文件夹下(.jar文件放置路径也可以自定义)。 在项目pom
dev.sdk.api.skill.base.SimpleSkill; final String promptTemplate = "讲一个关于{{subject}}的笑话,字数{{count}}字以内"; SimpleSkill skill = new SimpleSkill(LLMs
setCache(Caches.of(Caches.IN_MEMORY)); llm.ask("你能讲一个笑话吗?") 此时,再次使用同样的问题,则不会再调用大模型,而是直接从内存返回: llm.ask("你能讲一个笑话吗?") Cache缓存有以下几个操作: 初始化:指定缓存使用哪种存储方式。例如,使用内存型缓存可以设置为Cache
应用示例 搜索增强 长文本摘要 父主题: Java SDK