检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Prompt(Python SDK) 提示词模板模块提供模板格式化、自定义配置管理功能。 模板格式化 from langchain import PromptTemplate from pangukitsappdev.api.llms.factory import LLMs from
配置SDK(Java SDK) 基础配置项 SDK依赖的配置项主要通过读取llm.properties配置文件;如果配置文件名不为llm.properties,需要在项目中主动设置,方法如下: 在resources路径下,创建llm.properties文件,并根据实际需要配置相应的值。
训练数据集创建流程 数据是大模型训练的基础,提供了模型学习所需的知识和信息。大模型通过对大量数据的学习,能够理解并抽象出其中的复杂模式,从而进行精准的预测和决策。在训练过程中,数据的质量和多样性至关重要。高质量的数据能够提升模型对任务的理解,而多样化的数据则帮助模型更好地应对各种
安装Ascend插件 详情请参考官方文档:https://www.hiascend.com/document/detail/zh/mindx-dl/50rc1/dluserguide/clusterscheduling/dlug_scheduling_02_000001.html
toolDesc = "通过用户ID、用户单据、用户最大报销比例获取用户报销额度", toolPrinciple = "请在有用户ID、用户单据、用户最大报销比例的情况下查询用户最大报销额度时调用此工具。需要先分别调用query_receipt工具查询用户单据和query_reim
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同,具体步骤请参考使用API调用模型。 父主题: 部署为边缘服务
配置Histroy(Python SDK) History缓存,用于存储历史对话信息,辅助模型理解上下文信息,历史消息对有固定窗口、消息摘要等策略。 初始化:消息记录支持不同的存储方式, 如内存、DCS(Redis)和RDS(Sql)。 from pangukitsappdev.memory
Agent运行Session,包含历史Action,当前Action,状态 Attributes: messages: 本次session的用户的输入 session_id: UUID,在一个session内唯一 current_action: 当前Action
配置Vector(Python SDK) Embedding Emebedding模块用于对Emebedding模型API的适配封装,提供统一的接口快速地调用CSS等模型emebedding能力。 初始化:根据相应模型定义Emebedding类,如使用华为CSS Embedding为:Embeddings
期结束。为了说明用户反馈的功能,选择了调用setUserFeedback,进行反馈,第四次printPlan打印的结果为: 用户: 定个2点-4点的会议 助手: 好的,请问您想预订哪一个会议室? - 步骤1: 思考:好的,请问您想预订哪一个会议室? 用户: A01会议室 助手:
配置Histroy(Java SDK) History缓存,用于存储历史对话信息,辅助模型理解上下文信息,历史消息对有固定窗口、消息摘要等策略。 初始化:消息记录支持不同的存储方式,如内存、DCS(Redis)、RDS(Sql)。 import com.huaweicloud.pangu
*/ private String finalAnswer = ""; /** * 本次session的用户query */ private List<ConversationMessage> messages; /**
配置Vector(Java SDK) Embedding Embedding模块用于对Embedding模型API的适配封装,提供统一的接口快速地调用CSS模型embedding能力。 初始化:根据相应模型定义Embedding类。例如,使用华为CSS Embedding为:Embeddings
content="4点结束,线上会议")] agent.run(messages) 运行结果示例: 用户: 定个2点的会议 助手: 请问您的会议预计何时结束?另外,您是需要预订线上会议还是实体会议室? 用户: 4点结束,线上会议 助手: 已为您预订2023年6月29日14:00至16:00的线上会议,请准时参加。
边缘服务部署流程 边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器,通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型(盘古-NLP-N2-基础功能模型)和基于
配置基础问答能力(Python SDK) 提供简单的对话实现。 初始化 from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.skill.base import SimpleSkill
配置文档问答能力(Java SDK) 基于已有的知识库进行回答,包括stuff、refine和map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型回答,适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk
添加Agent流式输出(Java SDK) Agent用于工具调用场景,与普通的LLM流式输出相比,提供了事件流的封装。消息内容、工具调用等通过不同的事件类型区分。 通过如下接口为Agent添加流式输出的回调: /** * 设置流式接口回调函数 * * @param streamAgentCallback
配置文档问答能力(Python SDK) 基于已有的知识库进行回答。有stuff、refine和map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型回答,适合文档较少的场景。 from pangukitsappdev.api.embeddings.factory
清洗算子功能介绍 数据清洗是提高数据质量的重要环节,包括去除异常的字符、去除表情符号和去除个人敏感内容等,经过清洗的数据可以提升训练阶段的稳定性。 平台支持通过以下清洗能力: 表1 清洗算子说明 算子类型 功能 说明 数据转换 全角转半角 将文本中的所有全角字符转换成半角字符。 中文繁简体互转