检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Python SDK 安装SDK 配置SDK LLMs(语言模型) Prompt(提示词模板) Memory(记忆) Skill(技能) Agent(智能代理) 应用示例 父主题: 盘古应用开发SDK
数据量很少,可以微调吗 不同规格的模型对微调的数据量都有相应要求。 如果您准备用于微调的数据量很少,无法满足最小的量级要求,那么不建议您直接使用该数据进行微调,否则可能会存在如下问题: 过拟合:当微调数据量很小时,为了能充分学习这些数据的知识,可能会训练较多的轮次,因而模型会过分
构建的优点是数据丰富度更高,缺点是成本较高。 当您将无监督数据构建为有监督数据时,请尽可能保证数据的多样性。建议将不同文本构建为不同的场景,甚至将同一段文本构建为多个不同的场景。 不同规格的模型支持的长度不同,当您将无监督数据构建为有监督数据时,请确保数据长度符合模型长度限制。 父主题:
Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询,通过向量和相似度的计算,实现对数据的语义理解和检索。 Vector向量存储:是一种将数据转换为数学表示的方法,它可以度量数据之间的关系和
本地导入 从support网站上下载pangu-kits-app-dev-py的whl包。 建议使用conda创建一个新的python环境,python版本选择3.9。 在whl包同级目录下,执行如下命令安装: pip install pangu_kits_app_dev_py-2
Caches.of("inMemory") # 更新数据 cache.update("1+1", LLMResp(answer=2)) 查询数据:从缓存中获取数据,需要指定数据的键值对。例如,查找1+1这个问题对应的答案,参考示例如下: # 查找数据 cache_value = cache.lookup("1+1")
Skill(技能) 基础问答 多轮对话 文档问答 文档摘要 父主题: Python SDK
应用示例 搜索增强 长文本摘要 父主题: Python SDK
for doc in doc_list: print(doc.page_content) 向量库 向量库用于向量数据存储,提供向量数据检索能力。 初始化,以使用华为CSS示例。 from pangukitsappdev.api.memory.vector.factory
后处理工作,例如根据黑白名单做工具的过滤。 与上述的tool_provide呼应,在向tool_retriever中添加工具时,可以添加任意的元数据,python需要借助pickle将函数或类转换成字节流字符串存入CSS中,用于在tool_provider中把工具组装出来: from
数)。 实例化Tool 实例化Agent 运行Agent 监听Agent Agent流式输出 Tool Retriever 父主题: Python SDK
session_tag="test-memory-0624")) 添加、查找、删除数据。 # 更新数据 chat_message.add_ai_message("i am ai.") chat_message.add_user_message("i am tester.") # 查找数据 contents = [msg
= LLMs.of("pangu", llm_config) answer = pangu_llm.ask("你是谁") 父主题: Python SDK
具流。文本流将输出模型的思考过程和最终结果;工具流将输出工具的调用过程,而工具的调用的执行结果是通过监听获取的。 通过如下接口为Agent添加流式输出的回调: from pangukitsappdev.callback.StreamCallbackHandler import S
搜索增强 场景介绍 私有化场景下,大模型需要基于现存的私有数据提供服务。通过外挂知识库(Embedding、向量库)方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
"2024-01-31"} 用户反馈:公司改为金财互联数据服务有限公司,nsrsbh为91440101MA59JN5456 - 步骤3: 思考:好的,我将更新"company_name"参数为"金财互联数据服务有限公司",并添加"nsrsbh"参数为"91440101MA59JN5456"。现在,我将再次调用工具。
key_id}cipher`,其中key_id和cipher会在配置项读取时被解析传递进decrypt_func方法中,进行解密。 父主题: Python SDK
print(agent_session) 上述代码分别对应了Agent的开始、中间过程和结束阶段。 为Agent添加一个监听器 通多调用Agent的addListener接口添加一个监听器: from pangukitsappdev.agent.react_pangu_agent import
配置sdk配置项,指定prompt文件绝对路径,以 /home 路径为例 sdk.prompt.path=/home/prompts/default 父主题: Python SDK
文档摘要 基于已有的知识库,进行摘要总结。有stuff、refine、map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型处理,适合文档较少的场景。 from pangukitsappdev.api.embeddings.factory import