检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
),长度2~36个字符,仅支持中英文开头。 AI模型 在“模型A”下拉框中选择模型。 单击“+ AI模型”,还可以增加2个AI模型。 说明: 路由策略提供模型服务时,模型调用顺序为:模型A > 模型B > 模型C,当模型A无法正常工作时,可以自动依次切换为模型B、模型C。 策略总超时时间 模型路由策略的总体超时时间,取值范围为0-1000000ms。
调测/体验模型 通过调测模型,可检验模型的准确性、可靠性及反应效果,发现模型中存在的问题和局限性,确保模型能够在实际应用中正常运行,并且能够准确地预测和处理数据。 支持对我的模型(我部署的、我接入的)、我的路由策略、平台资产中心预置的部分模型以及模型服务商提供的模型进行调测。 前提条件
生成模型服务 将已有模型部署为模型服务 自建模型并发布为模型服务 创建路由策略用于提供模型服务 父主题: 管理模型
词。 在右侧“模型效果预览”区域查看效果。 单击“发布”,模型服务发布成功。 管理我接入的模型服务 模型服务发布完成后,可执行如下表4所示的管理模型服务相关操作。 表4 管理我接入的模型服务 操作 说明 取消发布模型服务 在模型列表“操作”列单击“取消发布”。 模型调测 在“我接
将已有模型部署为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后,可以对模型服务进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 本文介绍如何将微调后的模型或部分平台预置的模型部署为模型服务。 前提条件 已购买推理单元资源,具体购买方法请参见购买AI原生应用引擎包年包月资源。
管理模型 模型使用指引 基于微调数据集进行模型微调 生成模型服务 调测/体验模型 查看模型调用记录 收藏平台资产中心的模型 如何对模型供应商提供的模型服务设置鉴权
模型调用 文本对话 文本向量化 父主题: API
于改进预训练模型的性能。 2 生成模型服务 将已有模型部署为模型服务 自建模型并发布为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后,可以对模型服务进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 3 调测模型 通过调测模型,可检验模型的准确性、可
查看模型调用记录 用户可以通过查看模型(包括平台预置模型及自建模型)的调用记录,获取模型调用方式、用时及调用时间等信息。 查看模型调用记录 在AI原生应用引擎的左侧导航栏选择“模型中心 > 模型调用记录”。 在“模型调用记录”页面,通过筛选调用方式、时间范围、状态,或输入模型名称
在AI原生应用引擎左侧导航栏选择“系统管理 > 模型鉴权设置”。 在“模型供应商列表”页面,单击模型供应商卡片上“设置鉴权”,针对不同的模型服务设置相应鉴权信息。 父主题: 管理模型
布数据模型。 下线数据模型 当指定数据模型为“已发布”状态时,单击操作列“下线”,可以下线数据模型。 修改数据模型 当指定数据模型为“草稿”状态时,单击“修改”,可以修改数据模型信息。 删除数据模型 当指定数据模型为“草稿”或“已下线”状态时,单击“删除”,可以删除数据模型。 父主题:
创建模型微调任务 模型微调是指调整大型语言模型的参数以适应特定任务的过程,适用于需要个性化定制模型或者在特定任务上追求更高性能表现的场景。这是通过在与任务相关的微调数据集上训练模型来实现的,所需的微调量取决于任务的复杂性和数据集的大小。在深度学习中,微调用于改进预训练模型的性能。
新建模型失败 问题描述 新建数据模型时,提示保存失败。 处理方法 检查数据模型度量数据的“聚合类型”函数设置是否合理,比如“聚合类型”设置为求和“sum”函数,这种情况会导致数据建模保存报错。 父主题: 运营中心
数据标注是将微调数据集中的某些元素进行标记或分类,以便模型可以更好地理解和使用这些数据。例如,在自动驾驶的应用中,云数据可以被标注为包含建筑物、其他小物体、交通工具等信息,以便模型可以识别和理解这些对象。在辅助数据标注的方法中,通过训练模型,可以实现标注结果,从而提高数据的质量和准确性。
创建模型微调流水线 通过模型微调任务进行模型训练,微调任务结束后,将生成改进后的新模型。 部署模型 模型部署是通过为基座模型(即原模型)和微调后的新模型创建用于预测的模型服务的过程实现。 测试模型调优效果 在线测试微调后的模型(输入问题发起请求获取数据分析结果),可检验模型的准确性、可靠性及反应效果。
布数据模型。 下线数据模型 当指定数据模型为“已发布”状态时,单击操作列“下线”,可以下线数据模型。 修改数据模型 当指定数据模型为“草稿”或“已下线”状态时,单击“修改”,可以修改数据模型信息。 删除数据模型 当指定数据模型为“草稿”状态时,单击“删除”,可以删除数据模型。
收藏平台资产中心的模型 在AI原生应用引擎的左侧导航栏选择“资产中心”。 在资产中心页面,选择“大模型”页签。 将鼠标光标移至模型卡片上,单击卡片右上角。 单击模型卡片右上角的,可以取消收藏。 收藏成功后,您可以在“Agent编排中心 > 我的模型服务”页面“我收藏的”页签下,查看收藏结果,可
String 模型服务调用唯一id字段。平台定义了4种模型服务: 平台预置模型服务 登录AI原生应用引擎,在左侧导航栏选择“资产中心 > 大模型”,查看支持的模型服务。例如调用chatglm3-6b,model填写为platform:chatglm3-6b。 平台接入模型服务 登录A
转发策略配置 本章介绍通过IaC进行转发策略配置的管理,包括监听下的转发策略、健康检查、后端服务器及动态路由管理。对应的资源类型为WiseCloud::LoadBalancer::SLB::RouteRule。 表1 转发策略配置字段说明 参数名 是否必选 说明 listenerGroupName
创建微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据集是模型微调的基础,通过在微调数据集上进行训练从而获得改进后的新模型。 平台在资产中心预置了部分微调数据集,同时也支持用户根据需求自定义创建微调数据集。本文介绍如何创建微调数据集。