检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文档问答 基于已有的知识库进行回答。有stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型回答，适合文档较少的场景。 from pangukitsappdev.api.embeddings.factory import Embeddings
水资源，提供了大量的饮用水和灌溉水。同时，长江也是中国重要的内河航道，对于货物运输和经济发展具有重要作用。长江中的鱼类种类繁多，是中国淡水渔业的重要基地之一。长江中的典型鱼类包括：1. **中华鲟**：这是一种生活在长江中上游的大型鱼类，以其巨大的体型和古老的种类而闻名。中华鲟是
文档问答 基于已有的知识库进行回答，包括stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型回答，适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;
文档摘要 基于已有的知识库进行摘要总结，包括stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型处理，适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;
History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式， 如内存、DCS（Redis）和RDS（Sql）。 from pangukitsappdev.memory.sql_message_history import SQLMessageHistory
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗，平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 URI POST /v1/{project_id}/deployment
pangu_kits_app_dev_py gradio。 盘古大语言模型。 开发实现 创建配置文件llm.properties， 正确配置iam和pangu配置项。信息收集请参考准备工作。 # # Copyright (c) Huawei Technologies Co., Ltd. 2023-2023
pangu_kits_app_dev_py gradio python-docx。 盘古大语言模型。 开发实现 创建配置文件llm.properties， 正确配置iam和pangu配置项。信息收集请参考准备工作。 # # Copyright (c) Huawei Technologies Co., Ltd. 2023-2023
最大长度：不同模型支持的token长度请参见《产品介绍》“模型规格 > 模型基础信息”章节。 说明： token是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成token，然后根据模型的概率分布进行采样或者计算。 user 否 String 用
使用推理SDK 安装SDK 使用SDK前，需要安装“huaweicloud-sdk-core”和“huaweicloud-sdk-pangulargemodels”。 请在SDK中心获取最新的sdk包版本，替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在
03 入门 体验盘古大模型的预置模型功能和应用百宝箱功能，您将快速熟悉平台的核心能力，探索多种应用场景，从而更好地发挥盘古大模型在实际业务中的价值。 功能体验 体验盘古预置模型能力 体验盘古驱动的应用百宝箱 05 实践 通过基模型训练出行业大模型和提示词写作的最佳实践，您将深入掌握行
数据工程套件作为盘古大模型的重要组成部分，具备数据获取、清洗、配比和管理等功能。该套件能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。 通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工程套件还提供强大的数据存储和管理能力，为大模型训练提供高质量的数据支撑。
private int maximumSize = -1; 语义缓存：语义缓存是一种基于向量和相似度的缓存方法，它可以实现对数据的语义匹配和查询。语义缓存可以根据不同的向量存储、相似算法、评分规则和阈值进行配置，并且可以使用不同的词向量模型进行嵌入。 import com.huaweicloud
管理模型资产、推理资产 查看模型资产与模型推理资产 用户购买盘古大模型套件后，可以在“平台管理 > 资产管理”中查看购买的模型资产和模型推理资产。 图1 查看模型资产 图2 查看模型推理资产 续订模型推理资产 模型推理资产到期后，可以进行续订操作。 在“平台管理 > 资产管理 >
但会减少内存消耗，且可能提高泛化能力。因此，批大小需要根据数据集的规模和特点，以及模型的复杂度和性能进行调整。同时，批大小还与学习率相关。学习率是指每次更新参数时，沿着梯度方向移动的步长。一般来说，批大小和学习率成正比。如果批大小增大，学习率也相应增大；如果批大小减小，那么学习率也应减小。
基模型以及用户训练后的模型。训练后的模型需使用“在线部署”，才可以使用本章节提供的方法进行调用。本章节分别介绍使用Postman调用API和多语言（Java/Python/Go）调用API的方法，仅供测试使用。 前提条件 使用API调用模型前，需要先开通盘古大模型服务。 使用Postman调用API
实例化Tool Tool分为StaticTool（静态工具）和DynamicTool（动态工具）两类。静态工具需要开发者事先定义好，即在编译期定义与实例化。对于动态工具，开发者可以在系统运行时动态构建，即在运行态定义与实例化。 StaticTool（静态工具） 静态工具可以通过注
语义缓存（同步适配langchain语义缓存暂时不支持expire_after_write） 语义缓存是一种基于向量和相似度的缓存方法，它可以实现对数据的语义匹配和查询。语义缓存可以根据不同的向量存储、相似算法、评分规则和阈值进行配置，并且可以使用不同的词向量模型进行嵌入。 from pangukitsappdev
agent_session: AgentSession): print(agent_session) 上述代码分别对应了Agent的开始、中间过程和结束阶段。 为Agent添加一个监听器 通多调用Agent的addListener接口添加一个监听器： from pangukitsappdev
ider将由用户自定义，后续会有例子说明。 上述例子使用的向量数据库配置指定索引名称，以及使用name和description作为向量化字段，因此工具入库时，会将工具的name和description进行向量化，并在后续的检索中生效。 注意，上述tool_list中包含的工具在SDK中并不存在，需要替换成实际的工具。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
