检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看模型调用统计 模型调用统计页面展示当前租户所在的根部门以及租户下二级子部门的模型调用情况。 前提条件 需要具备AI原生应用引擎租户运营管理员权限,权限申请操作请参见AppStage组织成员申请权限。 查看模型调用统计 在AI原生应用引擎的左侧导航栏选择“运营看板 > 模型调用统计”。
模型API接入接口规范 当前模型网关支持文本对话(Chat)、文本向量化(Embeddings)、文本排序(Rerank)三种类型的API接入。模型API接入之前,请确保符合相对应的接口规范,其中Chat接口和Embeddings接口需要符合OpenAI接口规范,Rerank接口需要符合AI引擎标准协议。
参数解释: 模型服务调用唯一id字段。平台定义了4种模型服务: 1.平台预置模型服务 登录AI原生应用引擎,在左侧导航栏选择”资产中心“,选择“大模型”页签,单击模型卡片进入模型详情页面,查看模型服务调用ID。 2.租户部署模型服务 登录AI原生应用引擎,在左侧导航栏选择“模型中心 >
开源模型怎么部署? 开源模型的部署需要购买推理单元,具体操作如下: 在AI原生应用引擎的左侧导航栏选择“资产中心”,选择“大模型”页签。 将鼠标光标移至待部署的开源模型卡片上,单击“部署”。 在“创建部署服务”页面,可以查看到需要几个推理单元,单击“购买推理单元资源”。 图1 创建部署服务
自接入的模型在模型调测的时候报错是什么原因? 接入第三方模型服务时,填写的模型名称必须为该模型的模型ID/模型编码(登录第三方模型厂商官网查看),例如:Baichuan4、deepseek-chat、glm-4-air,如图1所示,否则会导致模型不可用。 图1 接入模型服务 父主题:
对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据集是模型微调的基础,通过在微调数据集上进行训练从而获得改进后的新模型。 平台在资产中心预置了部分微调数据集,同时也支持用户根据需求自定义创建微调数据集。本文介绍如何创建微调数据集。
收藏平台资产中心的模型 在AI原生应用引擎的左侧导航栏选择“资产中心”。 在资产中心页面,选择“大模型”页签。 将鼠标光标移至模型卡片上,单击卡片右上角。 单击模型卡片右上角的,可以取消收藏。 收藏成功后,您可以在“模型中心 > 我的模型服务”页面“我收藏的”页签下,查看收藏结果,可以
平台有没有预置模型? 平台预置的开源模型 开源模型Qwen系列、deepseek-coder系列等 请参考将已有模型部署为模型服务进行部署,部署后即可进行调测/体验、调用。 开源模型chatglm3-6b 平台提供了对应的模型服务API,但是该模型能力有限,只能作为问答模型,不能作为
基于微调数据集进行模型微调 创建微调数据集 收藏预置微调数据集 对微调数据集进行数据标注 创建模型微调任务 父主题: 管理模型
我接入的模型需要满足什么要求才能在创建Agent时作为思考模型? 模型本身支持FunctionCall。 接入的模型需要符合OpenAI接口规范且具体请参见模型API接入接口规范。 注意:流式返回的工具调用信息必须在一条消息内,不能分拆返回。 接入模型服务时 ,在模型服务描述中填
工作流的返回是json格式,但是大模型会进行总结,如何以json格式直接输出? 创建Agent配置工作流时,支持选择模式,选择为“总结模式”时,大模型会对工作流的输出进行总结;选择为“精确模式”时大模型不会总结,直接返回工作流的输出,如图1所示,具体介绍请参见创建并发布Agent。
收藏预置微调数据集 支持将平台预置微调数据集进行收藏,收藏后可便捷地在模型微调任务中使用。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 收藏预置微调数据集 在AI原生应用引擎的左侧导航栏选择“资产中心”。 在资产中心页面,选择“数据集”页签。
布数据模型。 下线数据模型 当指定数据模型为“已发布”状态时,单击操作列“下线”,可以下线数据模型。 修改数据模型 当指定数据模型为“草稿”或“已下线”状态时,单击“修改”,可以修改数据模型信息。 删除数据模型 当指定数据模型为“草稿”状态时,单击“删除”,可以删除数据模型。 删
数据模型修改或者删除失败 问题描述 修改/删除数据模型时,提示修改/删除失败。 处理方法 检查数据模型是否已经被指标使用。 父主题: 运营中心
对微调数据集进行数据标注 数据标注是将微调数据集中的某些元素进行标记或分类,以便模型可以更好地理解和使用这些数据。例如,在自动驾驶的应用中,云数据可以被标注为包含建筑物、其他小物体、交通工具等信息,以便模型可以识别和理解这些对象。 约束与限制 只有格式为“对话文本”的微调数据集才可进行标注。
管理开发中心服务元模型 服务元模型可以用于维护开发中心服务的扩展字段。系统预置了服务元模型,系统预置的元模型字段来源为系统,系统预置的服务元模型在“团队管理 > 服务信息”页面不可修改。用户也可以自定义元模型,用户自定义的元模型字段来源为自定义,最多可以添加20个元模型。 前提条件
大模型微调需要的数据有要求吗? AI原生应用引擎用于大模型微调的数据集任务领域为“自然语言处理”、数据集格式为“对话文本”。 文件内容要求为标准json数组,例如: [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":
per 无模型阈值上限 0-100000000 默认值100000000 无模型时配置的阈值上限(固定阈值线)。 对于新增的接口,因为没有历史数据,无法训练出该接口的模型,此时可以配置合适的值用来监控此类接口。 no_model_threshold_lower 无模型阈值下限 0-100000000
问题现象 图1 Agent报错 解决方法 检查创建Agent时选择的模型是否为模型服务商API,使用模型服务商API时,需要配置模型服务鉴权,新开的租户没有配置模型鉴权,具体操作请参见如何对模型供应商提供的模型服务设置鉴权。 父主题: AI原生应用引擎
和推理方向。 大语言模型 大语言模型是一种能够理解和生成人类语言的人工智能模型。这些模型通常使用大量的数据进行训练,以便它们能够识别语言中的模式和规律。大语言模型的应用范围非常广泛,包括自然语言处理、机器翻译、语音识别、智能问答等领域。 向量化模型 向量化模型是将文本数据转换为数