检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提示语是给大模型的指令,它可以是一个问题、一段文字描述,也可以是带有一系列参数的文字描述。 AI原生应用引擎资产中心预置了多款提示语模板,这些模板是基于大量应用场景下的经验或者训练语料而总结出一些优质的提示语组成结构,将其抽离成为一种模板,支持测试、一键快速复制及收藏等。在模型调测时引
图1 Agent报错 解决方法 检查创建Agent时选择的模型是否为模型服务商API,使用模型服务商API时,需要配置模型服务鉴权,新开的租户没有配置模型鉴权,具体操作请参见如何对模型供应商提供的模型服务设置鉴权。 父主题: AI原生应用引擎
布数据模型。 下线数据模型 当指定数据模型为“已发布”状态时,单击操作列“下线”,可以下线数据模型。 修改数据模型 当指定数据模型为“草稿”或“已下线”状态时,单击“修改”,可以修改数据模型信息。 删除数据模型 当指定数据模型为“草稿”状态时,单击“删除”,可以删除数据模型。 说明:
和推理方向。 大语言模型 大语言模型是一种能够理解和生成人类语言的人工智能模型。这些模型通常使用大量的数据进行训练,以便它们能够识别语言中的模式和规律。大语言模型的应用范围非常广泛,包括自然语言处理、机器翻译、语音识别、智能问答等领域。 向量化模型 向量化模型是将文本数据转换为数
数据模型修改或者删除失败 问题描述 修改/删除数据模型时,提示修改/删除失败。 处理方法 检查数据模型是否已经被指标使用。 父主题: 运营中心
任务名称 默认显示该训练任务的任务名称。 单击“注册任务”,单击“确认”,注册模型训练任务。 单击“启动任务”,单击“确认”,启动模型训练任务,任务状态显示RUNNING表示任务启动成功。 单击“立即训练”,进行模型训练,可以在“训练历史”中查看训练任务进展。 当模型训练完成后需要在“算法配置”页签,选择当前模型。
True 模型服务调用唯一id字段。平台定义了3种模型服务: 平台预置模型服务 登录AI原生应用引擎,在左侧导航栏选择”资产中心“,选择“大模型”页签,单击模型卡片进入模型详情页面,查看模型服务调用ID。 租户部署模型服务 登录AI原生应用引擎,在左侧导航栏选择“模型中心 > 我
如何保证Agent每次问答都调用知识库? 创建Agent时,支持配置支持库调用方式,当调用方式选择为“自动调用”时每次问答都会调用知识库,选择“按需调用”时由大模型决定是否调用知识库,如图1所示。具体介绍请参见创建并发布Agent。 图1 调用方式 父主题: AI原生应用引擎
下载AI原生应用引擎SDK AI原生应用引擎面向开发者提供了一套搭建原生应用的Python SDK,包含了模型调用,知识获取,工具调用等功能。开发者可以使用SDK调用AI原生应用引擎的各种能力,快速构建大模型应用。 用户可以通过AI原生应用引擎平台下载SDK,同时对SDK完整性进
Agent问答的时候没有回答 思考模型没有配置鉴权,或者鉴权失效了,可以通过模型调测功能测试思考模型是否正常,具体操作请参见调测/体验模型。 父主题: AI原生应用引擎
应用示例 与文本对话模型进行交互 场景描述 提供用户与模型进行对话的能力,用户将文本内容写入到content中,选择填写合适的文本对话模型,与模型进行交互。其中环境变量WISEAGENT_API_KEY填写AI原生应用引擎的平台API KEY,该值用于鉴权,为必填。返回结果存在r
ERROR - fail to load 问题现象 judge日志中出现ERROR - fail to load错误提示,如下图 可能原因 日志中提示加载模型失败,可能是因为容器在启动时加载模型失败。 解决方法 依次单击“初始化Daemon”、“注册任务”和“启动任务”,重启ju
SDK概述 AI原生应用引擎SDK面向开发者提供了一套搭建原生应用的Python SDK,包含了模型调用,知识获取,工具调用等功能。开发者可以使用SDK调用AI原生应用引擎的各种能力,帮助开发者快速构建大模型应用。 表1 模块说明 序号 模块 功能 1 HttpxClient 负责发送HTTP请求的基类。
AI原生应用引擎使用流程 AI原生应用引擎是企业专属的一站式大模型开发及应用构建平台,其核心是将自创建或平台预置的模型服务、工具、工作流及知识库等编排成具有一定智能性和自主性的Agent。本章节梳理了AI原生应用引擎使用流程,可帮助您快速了解AI原生应用引擎的核心功能。 图1 AI原生应用引擎使用流程
AI原生应用引擎计费项 计费说明 AI原生应用引擎根据购买的套餐包计费或按需计费。具体内容如表1所示。 表1 AI原生应用引擎计费项说明 计费项 计费项说明 适用的计费模式 计费公式 ChatGLM3-6B大模型服务API在线调用 根据实际输入和输出tokens总量计费,平台提供算力支持。
更倾向于生成较少见的单词。 方式二:单击由系统智能生成模型。 说明: 模型服务商API在调用前需要配置认证鉴权,具体介绍请参见如何对平台接入的第三方模型服务设置鉴权。 如果要选择“我接入的”模型API作为思考模型,需要在模型服务描述中填写“SupportFunctionCall,
查任务,自动创建训练数据表,并且参数均为默认参数。 图3 任务状态 任务配置完成后该任务会显示在任务列表,单击任务所在行“操作”列的“基础”,单击“字段配置”,参考表5修改基础数据,获取维度值。 参考步骤四:配置训练模型配置异常检测算法模型,并进行模型训练。 训练的汇聚任务可以选择左侧导航栏“AI辅助诊断
是否必填项 说明 模型服务调用ID 是 需要调用的大模型。 对于资产中心预置的模型,在资产中心选择“大模型”页签,单击模型卡片进入模型详情页面,查看模型服务调用ID。 对于我的模型(我部署的、我接入的)和我的路由策略,需要填写模型服务调用ID,请单击“获取模型服务调用ID”,进入
域,Endpoint为“aiae.appstage.myhuaweicloud.com”。 基本概念 大模型推理服务 直接调用预置大模型提供API完成推理过程。 私有模型部署 针对已经微调训练好的模型,如需评测此模型效果,或通过应用调用此模型,则需将模型部署为线上服务。 向量知识库
4 大模型 大模型页签下展示平台预置的大模型和平台接入的第三方模型服务。 平台预置的开源模型 开源模型Qwen系列、DeepSeek系列等。 请参考将已有模型部署为模型服务进行部署,部署后即可进行调测/体验、调用。 平台预置开源模型chatglm3-6b,并提供对应的模型服务AP