检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
小括号() 双小括号(()) 提示语内容 显示创建时填写的提示语内容。 推理模型 将提示语应用于我创建的、平台预置的或第三方模型服务中,预览推理结果。 选择推理模型后,可配置推理模型的相关参数,如表3所示。 表3 推理模型参数配置说明 参数名称 参数说明 最大token数 影响推理返回内容的最大长度,取值范围:1-10000。
Agent问答的时候没有回答 思考模型没有配置鉴权,或者鉴权失效了,可以通过模型调测功能测试思考模型是否正常,具体操作请参见调测/体验模型。 父主题: AI原生应用引擎
模型微调任务一直在等待中是什么原因? 模型微调任务一直在“等待中”状态,表示当前平台资源规格紧张,任务需要进行排队,请耐心等待。 父主题: AI原生应用引擎
础;微调数据集是模型微调的基础,通过在微调数据集上进行训练,您可以获得改进后的新模型以适应特定任务。 模型管理 支持通过API接入模型服务,同时支持将平台预置模型进行微调后,部署为模型服务,为检验模型的准确性及反应效果,您可以通过调测模型能力进行体验调测,确保模型能够在实际应用中正常运行。
和推理方向。 大语言模型 大语言模型是一种能够理解和生成人类语言的人工智能模型。这些模型通常使用大量的数据进行训练,以便它们能够识别语言中的模式和规律。大语言模型的应用范围非常广泛,包括自然语言处理、机器翻译、语音识别、智能问答等领域。 向量化模型 向量化模型是将文本数据转换为数
我创建的微调数据集会被其他用户调用去训练他们的大模型吗? 用户个人创建的数据集是属于个人账号下的专属数据,未经本人许可不会被其他人员查看到,且不会被其他用户在大模型训练时调用。 父主题: AI原生应用引擎
True 模型服务调用唯一id字段。平台定义了3种模型服务: 平台预置模型服务 登录AI原生应用引擎,在左侧导航栏选择“资产中心”,选择“大模型”页签,单击模型卡片进入模型详情页面,查看模型服务调用ID。 租户部署模型服务 登录AI原生应用引擎,在左侧导航栏选择“模型中心 > 我
应用指标摸板库生成指标运行失败 问题描述 应用指标摸板库生成指标时,提示运行失败。 处理方法 检查选择的数据源和应用的模型是否匹配。模型对选择的数据是有要求的,数据源和模型之间不匹配,将导致指标运行失败。 父主题: 运营中心
基本流程。API调用方法请参见如何调用API。 前提条件 准备一篇名为“问题.txt”的文档,文档内容为: “什么是量子计算?它是一种利用量子力学原理进行信息处理的计算方式。==== 什么是RAG?它是一种通过整合检索系统和生成模型的优势,来提升模型生成文本的质量和上下文相关性。====”
是否必填项 说明 模型服务调用ID 是 需要调用的大模型。 对于资产中心预置的模型,在资产中心选择“大模型”页签,单击模型卡片进入模型详情页面,查看模型服务调用ID。 对于我的模型(我部署的、我接入的)和我的路由策略,需要填写模型服务调用ID,请单击“获取模型服务调用ID”,进入
常。 图1 固定阈值 动态阈值算法会通过训练历史数据,实现对数据特征的学习,构建数据的模型。并利用模型来预测数据的趋势走向。如图2黄色部分,实际值和预测值相差过大,认为数据异常。 图2 动态阈值 本章节介绍如何使用快速配置功能一步创建异常检测任务。 快速配置异常检测任务 进入AppStage运维中心。
Python SDK,包含了模型调用,知识获取,工具调用等功能。开发者可以使用SDK调用AI原生应用引擎的各种能力,快速构建大模型应用。 用户可以通过AI原生应用引擎平台下载SDK,同时对SDK完整性进行校验以确保获取的SDK为原始文件。本文介绍如何下载SDK以及完整性校验方法,
如何保证Agent每次问答都调用知识库? 创建Agent时,支持配置支持库调用方式,当调用方式选择为“自动调用”时每次问答都会调用知识库,选择“按需调用”时由大模型决定是否调用知识库,如图1所示。具体介绍请参见创建并发布Agent。 图1 调用方式 父主题: AI原生应用引擎
方式一:选择思考模型和问答模型。 思考模型用于任务规划和选择组件,主要用于工作流、知识库、工具的调用,以及入参的识别传递等。 问答模型用于问答及总结。您可以结合资产中心大模型详情介绍进行模型选择和使用。 输出最大token数:简称max_tokens,表示模型输出最大token数。 温度:
应用示例 与文本对话模型进行交互 场景描述 提供用户与模型进行对话的能力,用户将文本内容写入到content中,选择填写合适的文本对话模型,与模型进行交互。其中环境变量WISEAGENT_API_KEY填写AI原生应用引擎的平台API KEY,该值用于鉴权,为必填。返回结果存在r
、测试模型服务时需要调用ChatGLM3-6B大模型服务API在线调用、大模型微调服务API在线调用-SFT局部调优,按需计费模式能大幅降低客户的业务成本。 适用计费项 AI原生应用引擎的以下计费项支持按需计费。 表1 适用计费项 计费项 说明 ChatGLM3-6B大模型服务API在线调用
小括号() 双小括号(()) 提示语内容 显示创建时填写的提示语内容。 推理模型 将提示语应用于我创建的、平台预置的或第三方模型服务中,预览推理结果。 选择推理模型后,可配置推理模型的相关参数,如表2所示。 表2 推理模型参数配置说明 参数名称 参数说明 最大token数 影响推理返回内容的最大长度,取值范围:1-10000。
构造请求 本节介绍REST API请求的组成,并以调用AppStage服务的文本对话接口说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987 。 请求URI 请求URI由如下部分组成。
load 问题现象 judge日志中出现ERROR - fail to load错误提示,如下图 可能原因 日志中提示加载模型失败,可能是因为容器在启动时加载模型失败。 解决方法 依次单击“初始化Daemon”、“注册任务”和“启动任务”,重启judge,重新启动容器后观察是否恢复正常。
SDK,包含了模型调用,知识获取,工具调用等功能。开发者可以使用SDK调用AI原生应用引擎的各种能力,帮助开发者快速构建大模型应用。 表1 模块说明 序号 模块 功能 1 HttpxClient 负责发送HTTP请求的基类。 2 ModelRouter 负责模型调用,包括文本对话、文本向量化等模型。