检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AI原生应用引擎训练好后的模型如何获取? 使用模型微调训练好模型后的新模型只能通过模型部署(创建模型服务)上线,无法下载至本地使用。 父主题: AI原生应用引擎
我创建的微调数据集会被其他用户调用去训练他们的大模型吗? 用户个人创建的数据集是属于个人账号下的专属数据,未经本人许可不会被其他人员查看到,且不会被其他用户在大模型训练时调用。 父主题: AI原生应用引擎
思考模型和问答模型的区别 思考模型:用于任务规划和选择组件,主要用于工作流、知识库、工具的调用,以及入参的识别传递等。 问答模型:主要用于问答及总结。 父主题: AI原生应用引擎
单击“发布”,模型服务发布成功。 管理我接入的模型服务 模型服务发布完成后,可执行如下表5所示的管理模型服务相关操作。 表5 管理我接入的模型服务 操作 说明 取消发布模型服务 在模型列表“操作”列单击“取消发布”。 模型调测 在“我接入的”页签的服务列表中,单击“操作”列“模型调测”。
自接入的模型在模型调测的时候报错是什么原因? 接入第三方模型服务时,填写的模型名称必须为该模型的模型ID/模型编码(登录第三方模型厂商官网查看),例如:Baichuan4、deepseek-chat、glm-4-air,如图1所示,否则会导致模型不可用。 图1 接入模型服务 父主题:
集是模型微调的基础,通过在微调数据集上进行训练从而获得改进后的新模型。 创建模型微调任务 模型微调是指调整大型语言模型的参数以适应特定任务的过程,适用于需要个性化定制模型或者在特定任务上追求更高性能表现的场景。这是通过在与任务相关的微调数据集上训练模型来实现的,所需的微调量取决于
如何对模型供应商提供的模型服务设置鉴权 租户对模型供应商提供的模型服务调测前需设置鉴权。 前提条件 需要具备AI原生应用引擎管理员权限,权限申请操作请参见AppStage组织成员申请权限。 操作步骤 在AI原生应用引擎左侧导航栏选择“系统管理 > 模型鉴权设置”。 在“模型供应商
创建模型微调任务 模型微调是指调整大型语言模型的参数以适应特定任务的过程,适用于需要个性化定制模型或者在特定任务上追求更高性能表现的场景。这是通过在与任务相关的微调数据集上训练模型来实现的,所需的微调量取决于任务的复杂性和数据集的大小。在深度学习中,微调用于改进预训练模型的性能。
数据集是模型微调的基础,首先需要创建用于模型训练的数据集。 创建模型微调流水线 通过模型微调任务进行模型训练,微调任务结束后,将生成改进后的新模型。 部署模型 模型部署是通过为基座模型(即原模型)和微调后的新模型创建用于预测的模型服务的过程实现。 测试模型调优效果 在线测试微调后的模型(输入问题发起请求
在AI原生应用引擎的左侧导航栏选择“资产中心”。 在资产中心页面,选择“大模型”页签。 将鼠标光标移至模型卡片上,单击卡片右上角。 单击模型卡片右上角的,可以取消收藏。 收藏成功后,您可以在“模型中心 > 我的模型服务”页面“我收藏的”页签下,查看收藏结果,可以便捷地对收藏的模型进行部署、微调、体验。
将已有模型部署为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后,可以对模型服务进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 本文介绍如何将微调后的模型或部分平台预置的模型部署为模型服务。 前提条件 已购买推理单元资源,具体购买方法请参见购买AI原生应用引擎包年包月资源。
调测/体验模型 通过调测模型,可检验模型的准确性、可靠性及反应效果,发现模型中存在的问题和局限性,确保模型能够在实际应用中正常运行,并且能够准确地预测和处理数据。 支持对我的模型(我部署的、我接入的)、我的路由策略、平台资产中心预置的部分模型以及模型服务商提供的模型进行调测。 前提条件
单击标注右侧“删除”,可删除标注。 对于标注中的output,还可执行以下操作: 单击output所在行右侧的“自动生成”,由平台内置的模型自动生成当前行的output信息。 单击output所在行右侧的“重新生成”,由平台内置的模型重新生成当前行的output信息。 单击output所在行右侧的“删除”,可删除当前行的output信息。
查看模型调用记录 用户可以通过查看模型(包括平台预置模型及自建模型)的调用记录,获取模型调用方式、用时及调用时间等信息。 查看模型调用记录 在AI原生应用引擎的左侧导航栏选择“模型中心 > 模型调用记录”。 在“模型调用记录”页面,通过筛选调用方式、时间范围、状态,或输入模型名称
生成模型服务 将已有模型部署为模型服务 接入模型服务 创建路由策略用于提供模型服务 父主题: 管理模型
标记)的关联偏差值。 像-1和1这样的适度值将以较小的程度改变选择标记的概率。 使用logit_bias参数时,偏差被添加到模型生成的logits之前进行抽样。 max_tokens 否 Integer 返回体允许的最大token数。 n 否 Integer 返回体中包含的cho
操作 说明 修改模型服务 在“我的路由策略”页签的列表中,单击“操作”列的“编辑”,可以编辑总超时时间、模型重试次数、描述信息,更改选择的模型、调整模型数量及模型顺序。 删除模型服务 在“我的路由策略”页签的列表中,单击“操作”列的“删除”。 父主题: 生成模型服务
我接入的模型需要满足什么要求才能在创建Agent时作为思考模型? 模型本身支持FunctionCall。 接入的模型需要符合OpenAI接口规范且具体请参见模型API接入接口规范。 流式返回的工具调用信息必须在一条消息内,不能分拆返回。 接入模型服务时 ,在模型服务描述中填写:S
管理模型 模型使用指引 基于微调数据集进行模型微调 生成模型服务 调测/体验模型 查看模型调用记录 收藏平台资产中心的模型 模型API接入接口规范 如何对模型供应商提供的模型服务设置鉴权
创建微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据集是模型微调的基础,通过在微调数据集上进行训练从而获得改进后的新模型。 平台在资产中心预置了部分微调数据集,同时也支持用户根据需求自定义创建微调数据集。本文介绍如何创建微调数据集。