检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将已有模型部署为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后，可以对模型服务进行模型调测，并支持在创建Agent时使用或通过模型调用接口调用。 本文介绍如何将微调后的模型或部分平台预置的模型部署为模型服务。 前提条件 已购买推理单元资源，具体购买方法请参见购买AI原生应用引擎包年包月资源。
开源模型怎么部署？ 开源模型的部署需要购买推理单元，具体操作如下： 在AI原生应用引擎的左侧导航栏选择“资产中心”，选择“大模型”页签。 将鼠标光标移至待部署的开源模型卡片上，单击“部署”。 在“创建部署服务”页面，可以查看到需要几个推理单元，单击“购买推理单元资源”。 图1 创建部署服务
创建模型微调任务 模型微调是指调整大型语言模型的参数以适应特定任务的过程，适用于需要个性化定制模型或者在特定任务上追求更高性能表现的场景。这是通过在与任务相关的微调数据集上训练模型来实现的，所需的微调量取决于任务的复杂性和数据集的大小。在深度学习中，微调用于改进预训练模型的性能。
小。在深度学习中，微调用于改进预训练模型的性能。 2 生成模型服务 将已有模型部署为模型服务 接入模型服务 支持通过API接入模型服务，同时支持将平台预置模型进行微调后，部署为模型服务，模型服务可以在创建Agent时使用或通过模型调用接口调用。 3 调测模型 通过调测模型，可检验
规范要求请参见模型API接入接口规范。 创建接入模型服务 在AI原生应用引擎的左侧导航栏选择“模型中心 > 我的模型服务”，单击“接入模型服务”。 在“创建接入模型服务”页面，参照表1配置模型信息。 表1 模型信息参数说明 参数名称 参数说明 模型名称 自定义模型名称。支持中英文
思考模型和问答模型的区别 思考模型：用于任务规划和选择组件，主要用于工作流、知识库、工具的调用，以及入参的识别传递等。 问答模型：主要用于问答及总结。 父主题： AI原生应用引擎
生成模型服务 将已有模型部署为模型服务 接入模型服务 创建路由策略用于提供模型服务 父主题： 管理模型
管理模型 模型使用指引 基于微调数据集进行模型微调 生成模型服务 调测/体验模型 查看模型调用记录 收藏平台资产中心的模型 模型API接入接口规范 如何对模型供应商提供的模型服务设置鉴权
模型调用 文本对话 文本向量化 父主题： API
单击“体验”，进入模型调测页面。 在“模型调测”页面，可调测文本对话类型模型、文本生图类型模型、图像理解类型模型、语音转文本类型模型、文本向量化类型模型、文本转语言类型模型、工具调用类型模型以及文本排序类型模型。 调测文本对话类型模型，具体操作如下： 在“模型类型”下选择“文本对话”并配置表1所示参数。
查看模型调用记录 用户可以通过查看模型（包括平台预置模型及自建模型）的调用记录，获取模型调用方式、用时及调用时间等信息。 查看模型调用记录 在AI原生应用引擎的左侧导航栏选择“模型中心 > 模型调用记录”。 在“模型调用记录”页面，通过筛选调用方式、时间范围、状态，或输入模型名称
），长度2~36个字符，仅支持中英文开头。 AI模型 在“模型A”下拉框中选择模型。 单击“+ AI模型”，还可以增加2个AI模型。 说明： 路由策略提供模型服务时，模型调用顺序为：模型A > 模型B > 模型C，当模型A无法正常工作时，可以自动依次切换为模型B、模型C。 策略总超时时间 模型路由策略的总体超时
AI原生应用引擎训练好后的模型如何获取？ 使用模型微调训练好模型后的新模型只能通过模型部署（创建模型服务）上线，无法下载至本地使用。 父主题： AI原生应用引擎
收藏平台资产中心的模型 在AI原生应用引擎的左侧导航栏选择“资产中心”。 在资产中心页面，选择“大模型”页签。 将鼠标光标移至模型卡片上，单击卡片右上角。 单击模型卡片右上角的，可以取消收藏。 收藏成功后，您可以在“模型中心 > 我的模型服务”页面“我收藏的”页签下，查看收藏结果，可以便捷地对收藏的模型进行部署、微调、体验。
如何对模型供应商提供的模型服务设置鉴权 租户对模型供应商提供的模型服务调测前需设置鉴权。 前提条件 需要具备AI原生应用引擎管理员权限，权限申请操作请参见AppStage组织成员申请权限。 操作步骤 在AI原生应用引擎左侧导航栏选择“系统管理 > 模型鉴权设置”。 在“模型供应商
新建模型失败 问题描述 新建数据模型时，提示保存失败。 处理方法 检查数据模型度量数据的“聚合类型”函数设置是否合理，比如“聚合类型”设置为求和“sum”函数，这种情况会导致数据建模保存报错。 父主题： 运营中心
模型API接入接口规范 当前模型网关支持文本对话（Chat）、文本向量化（Embeddings）、文本排序（Rerank）三种类型的API接入。模型API接入之前，请确保符合相对应的接口规范，其中Chat接口和Embeddings接口需要符合OpenAI接口规范，Rerank接口需要符合AI引擎标准协议。
查看模型调用统计 模型调用统计页面展示当前租户所在的根部门以及租户下二级子部门的模型调用情况。 前提条件 需要具备AI原生应用引擎租户运营管理员权限，权限申请操作请参见AppStage组织成员申请权限。 查看模型调用统计 在AI原生应用引擎的左侧导航栏选择“运营看板 > 模型调用统计”。
模型调测时，无法选择模型服务商API是什么原因？ 对模型服务商API调测前，需要先设置鉴权，具体操作请参见如何对模型供应商提供的模型服务设置鉴权。 父主题： AI原生应用引擎
自接入的模型在模型调测的时候报错是什么原因？ 接入第三方模型服务时，填写的模型名称必须为该模型的模型ID/模型编码（登录第三方模型厂商官网查看），例如：Baichuan4、deepseek-chat、glm-4-air，如图1所示，否则会导致模型不可用。 图1 接入模型服务 父主题：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
