检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK,包含了模型调用,知识获取,工具调用等功能。开发者可以使用SDK调用AI原生应用引擎的各种能力,帮助开发者快速构建大模型应用。 表1 模块说明 序号 模块 功能 1 HttpxClient 负责发送HTTP请求的基类。 2 ModelRouter 负责模型调用,包括文本对话、文本向量化等模型。
单击输入框右侧的“引用模板”选择我创建的、我收藏的或平台预置的提示语模板。 推理模型 将提示语应用于我创建的、平台预置的或第三方模型服务中,预览推理结果。 选择推理模型后,可配置推理模型的相关参数,如表2所示。 表2 推理模型参数配置说明 参数名称 参数说明 最大token数 影响推理返回内容的最大长度,取值范围:1-10000。
支持知识库容量,智能应用运行时引擎,开通ChatGLM3-6B服务、大模型调优服务API在线调用。 套餐包单价+按需计费(ChatGLM3-6B服务、大模型调优服务API在线调用) 知识库容量:50GB 智能应用运行时引擎(20实例):2个 ChatGLM3-6B服务、大模型调优服务API在线调用根据实际输入和输
txt”的文档,文档内容为: “什么是量子计算?它是一种利用量子力学原理进行信息处理的计算方式。==== 什么是RAG?它是一种通过整合检索系统和生成模型的优势,来提升模型生成文本的质量和上下文相关性。====” 操作流程 步骤一:创建数据集。 步骤二:查询知识数据集创建结果。 步骤三:查询数据集版本和索引信息。
AI原生应用引擎使用流程 AI原生应用引擎是企业专属的一站式大模型开发及应用构建平台,其核心是将自创建或平台预置的模型服务、工具、工作流及知识库等编排成具有一定智能性和自主性的Agent。本章节梳理了AI原生应用引擎使用流程,可帮助您快速了解AI原生应用引擎的核心功能。 图1 AI原生应用引擎使用流程
选中模板某指标,进入“应用模板”页面。 在“应用模板”页面,完成字段映射,如表2所示。 表2 字段映射 参数 说明 模型显示名 在数据分析或监控系统中显示的模型名称,通常是一个更易于理解和识别的字符串。 源表 指需要从中抽取数据的源数据表。选择源表后,单击源表后面的,可添加引用表,如表3所示。
成,AI原生应用引擎通过将传统工具API和大模型编排在一起实现复杂的工作流。工作流可在用户创建Agent时调用,Agent使用过程中,当起始节点触发,后续动作即可自动执行,完成一系列复杂的任务。 创建Agent(LLM模式)时,由大模型根据用户问题与工作流的关联性决策是否调用工作流。
下载AI原生应用引擎SDK AI原生应用引擎面向开发者提供了一套搭建原生应用的Python SDK,包含了模型调用,知识获取,工具调用等功能。开发者可以使用SDK调用AI原生应用引擎的各种能力,快速构建大模型应用。 用户可以通过AI原生应用引擎平台下载SDK,同时对SDK完整性进行校验以确保获取的
查看资产总览 在资产总览页面可以查看当前租户所在的根部门以及租户下二级子部门的资产(Agent、模型、数据集、提示语、工具及知识库)统计数据,并支持通过各资产面板,筛选查看各子部门资产的创建、收藏及订阅数据。 前提条件 需要具备AI原生应用引擎租户运营管理员权限,权限申请操作请参见AppStage组织成员申请权限。
集进行模型训练、知识库构建等,快速完成平台使用并验证模型训练效果。 模型管理 用户可以自定义创建模型、模型服务及在线测试模型,检验模型的准确性、可靠性及反应效果。 提示语管理 用户自定义创建的、收藏的以及平台预置的提示语模板进行优化和改进。 大模型微调 提供调整大型语言模型的参数
4 大模型 大模型页签下展示平台预置的大模型和平台接入的第三方模型服务。 平台预置的开源模型 开源模型Qwen系列、DeepSeek系列等。 请参考将已有模型部署为模型服务进行部署,部署后即可进行调测/体验、调用。 平台预置开源模型chatglm3-6b,并提供对应的模型服务AP
单击输入框右侧的“引用模板”选择我创建的、我收藏的或平台预置的提示语模板。 推理模型 将提示语应用于我创建的、平台预置的或第三方模型服务中,预览推理结果。 选择推理模型后,可配置推理模型的相关参数,如表3所示。 表3 推理模型参数配置说明 参数名称 参数说明 最大token数 影响推理返回内容的最大长度,取值范围:1-10000。
零码Agent开发:详细流程说明请参见创建并发布Agent。 全码化应用开发:详细流程说明请参见下载AI原生应用引擎SDK。 模型调用与优化:详细流程说明请参见基于微调数据集进行模型微调、生成模型服务、创建模型服务。 提示语创建和优化:详细流程说明请参见创建提示语、对创建的提示语进行优化。 知识库构建:详细
模型中心是集中管理用户微调后的模型、模型微调流水线(即模型微调任务),以及调测模型。 支持区域: 华北-北京四 创建及管理模型 创建模型微调流水线 调测模型 查看模型调用记录 知识中心 数据是模型训练(含数据标注)以及知识库的基础,在整个模型、知识库中起着至关重要的作用。平台提供统一的数据管理
复杂性和深度。大模型会基于提示语所提供的信息,生成对应的文本或者图片。 测试提示语 在AI原生应用引擎的左侧导航栏选择“资产中心”。 在资产中心页面,选择“提示语模板”页签。 将鼠标光标移至提示语模板卡片上,单击“测试”,进入模型调测页面。 在调测文本对话类型模型时,将提示语模板
null或trainModel is {},并且提示fail to load model json,表示训练完成后judge未成功加载训练模型。 解决方法 依次单击“初始化Daemon”、“注册任务”和“启动任务”,重启judge,观察执行结果。 父主题: 异常检测Judge定时任务失败
执行检索规划所调用的模型。 对于资产中心预置的模型,在资产中心选择“大模型”页签,单击模型卡片进入模型详情页面,查看模型服务调用ID。 对于我的模型(我部署的、我接入的)和我的路由策略,需要填写模型服务调用ID,请单击“获取模型服务调用ID”,进入“我的模型服务”页面,在模型服务列表中单击复制。
如何保证Agent每次问答都调用知识库? 创建Agent时,支持配置支持库调用方式,当调用方式选择为“自动调用”时每次问答都会调用知识库,选择“按需调用”时由大模型决定是否调用知识库,如图1所示。具体介绍请参见创建并发布Agent。 图1 调用方式 父主题: AI原生应用引擎
我接入的模型需要满足什么要求才能在创建Agent时作为思考模型? Agent问答的时候报错“很抱歉,我的系统似乎遇到了一些故障问题,暂时无法为您提供服务” 自接入的模型在模型调测的时候报错是什么原因? 开源模型怎么部署? 平台有没有预置模型? 思考模型和问答模型的区别 工作流中
客户打通自己的业务能力API,将大模型的能力结合进入自己的业务链路。 提供支撑AI原生应用运行的整套模型工具链,包括数据管理、模型接入、模型调优、知识工程等能力,帮助客户选好、管好、用好大模型,从而提升大模型应用效果。 统一主数据平台和概念模型,管理应用生命周期中组织、产品、服务