检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
收藏平台资产中心的模型 在AI原生应用引擎的左侧导航栏选择“资产中心”。 在资产中心页面,选择“大模型”页签。 将鼠标光标移至模型卡片上,单击卡片右上角。 单击模型卡片右上角的,可以取消收藏。 收藏成功后,您可以在“模型中心 > 我的模型服务”页面“我收藏的”页签下,查看收藏结果,可以
思考模型和问答模型的区别 思考模型:用于任务规划和选择组件,主要用于工作流、知识库、工具的调用,以及入参的识别传递等。 问答模型:主要用于问答及总结。 父主题: AI原生应用引擎
查看模型调用统计 模型调用统计页面展示当前租户所在的根部门以及租户下二级子部门的模型调用情况。 前提条件 需要具备AI原生应用引擎租户运营管理员权限,权限申请操作请参见AppStage组织成员申请权限。 查看模型调用统计 在AI原生应用引擎的左侧导航栏选择“运营看板 > 模型调用统计”。
ge组织成员申请权限。 查看资产总览 在AI原生应用引擎的左侧导航栏选择“运营看板 > 资产总览”,资产总览页面如图1所示。 图1 资产总览 表1 资产总览页面说明 区域 说明 ① 展示当前租户所在的根部门以及租户下二级子部门的资产(Agent、模型、数据集、提示语、工具及知识库)统计数据。
模型调用 调用文本对话模型服务 调用文本向量化模型服务 父主题: API
管理模型 模型使用指引 基于微调数据集进行模型微调 生成模型服务 调测/体验模型 评测模型 查看模型调用记录 收藏平台资产中心的模型 模型API接入接口规范 如何对平台接入的第三方模型服务设置鉴权
开源模型怎么部署? 开源模型的部署需要购买推理单元,具体操作如下: 在AI原生应用引擎的左侧导航栏选择“资产中心”,选择“大模型”页签。 将鼠标光标移至待部署的开源模型卡片上,单击“部署”。 在“创建部署服务”页面,可以查看到需要几个推理单元,单击“购买推理单元资源”。 图1 创建部署服务
请参见模型API接入接口规范。 创建接入模型服务 在AI原生应用引擎的左侧导航栏选择“模型中心 > 我的模型服务”,单击“接入模型服务”。 在“创建接入模型服务”页面,参照表1配置模型信息。 表1 模型信息参数说明 参数名称 参数说明 模型名称 填写的模型名称必须为该模型的模型I
请参考将已有模型部署为模型服务进行部署,部署后即可进行调测/体验、调用。 开源模型chatglm3-6b 平台提供了对应的模型服务API,但是该模型能力有限,只能作为问答模型,不能作为思考模型,首次使用该模型服务API需要订购免费的“ChatGLM3-6B大模型服务API在线调
将已有模型部署为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后,可以对模型服务进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 本文介绍如何将微调后的模型或部分平台资产中心的模型部署为模型服务。 前提条件 已购买推理单元资源,具体购买方法请参见购买AI原生应用引擎包年包月资源。
调用于改进预训练模型的性能。 2 生成模型服务 将已有模型部署为模型服务 接入模型服务 支持通过API接入模型服务,同时支持将平台预置模型进行微调后,部署为模型服务,模型服务可以在创建Agent时使用或通过模型调用接口调用。 3 调测模型 通过调测模型,可检验模型的准确性、可靠性
查看模型调用记录 通过查看模型的调用记录,可以获取模型调用方式、用时及调用时间等信息。 查看模型调用记录 在AI原生应用引擎的左侧导航栏选择“模型中心 > 模型调用记录”。 在“模型调用记录”页面,通过筛选调用方式、日期、状态,或输入模型名称可快速查看模型调用记录信息,如模型调用
生成模型服务 将已有模型部署为模型服务 接入模型服务 创建路由策略用于提供模型服务 父主题: 管理模型
评测模型 平台支持从多个维度对模型的能力、性能进行评估,以保证模型效果,为模型选型提供可靠依据。 约束与限制 仅支持对文本对话类型的模型服务进行评测。 前提条件 评测模型前,请先通过调测/体验模型功能确认模型可用。 创建评测任务 在AI原生应用引擎的左侧导航栏选择“模型中心 > 模型评测”,单击“创建评测任务”。
在AI原生应用引擎左侧导航栏选择“凭证管理 > 模型鉴权设置”。 在“模型供应商列表”页面,单击模型供应商卡片上“设置鉴权”,针对不同的模型服务设置相应鉴权信息。 具体鉴权信息需根据界面提示前往模型供应商官网进行申请。 父主题: 管理模型
单击“体验”,进入模型调测页面。 在“模型调测”页面,可调测文本对话类型模型、文本生图类型模型、图像理解类型模型、语音转文本类型模型、文本向量化类型模型、文本转语言类型模型以及文本排序类型模型。 调测文本对话类型模型,具体操作如下: 在“模型类型”下选择“文本对话”并配置表1所示参数。
速复制及收藏等。在模型调测时引用提示语模板,可以快速推进引导对话的发展,或者增加故事的复杂性和深度。大模型会基于提示语所提供的信息,生成对应的文本或者图片。 测试提示语 在AI原生应用引擎的左侧导航栏选择“资产中心”。 在资产中心页面,选择“提示语模板”页签。 将鼠标光标移至提示
参数解释: 模型服务调用唯一id字段。平台定义了4种模型服务: 1.平台预置模型服务 登录AI原生应用引擎,在左侧导航栏选择”资产中心“,选择“大模型”页签,单击模型卡片进入模型详情页面,查看模型服务调用ID。 2.租户部署模型服务 登录AI原生应用引擎,在左侧导航栏选择“模型中心 >
限。 创建微调任务 在AI原生应用引擎的左侧导航栏选择“模型中心 > 模型微调流水线”,单击“创建微调任务”。 如果选择资产中心的模型作为基础模型,您也可以在左侧导航栏单击“资产中心”,选择“大模型”页签,将鼠标移至目标模型卡片并单击“微调”,进入任务创建页面。 选择“Funct
创建微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据集是模型微调的基础,通过在微调数据集上进行训练从而获得改进后的新模型。 平台在资产中心预置了部分微调数据集,同时也支持用户根据需求自定义创建微调数据集。本文介绍如何创建微调数据集。