检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数解释: 模型服务调用唯一id字段。平台定义了4种模型服务: 1.平台预置模型服务 登录AI原生应用引擎,在左侧导航栏选择”资产中心“,选择“大模型”页签,单击模型卡片进入模型详情页面,查看模型服务调用ID。 2.租户部署模型服务 登录AI原生应用引擎,在左侧导航栏选择“模型中心 >
通过模型微调任务进行模型训练,微调任务结束后,将生成改进后的新模型。 部署模型 模型部署是通过为基座模型(即原模型)和微调后的新模型创建用于预测的模型服务的过程实现。 测试模型调优效果 在线测试微调后的模型(输入问题发起请求获取数据分析结果),可检验模型的准确性、可靠性及反应效果。 清除相应资源 对
查看模型调用记录 用户可以通过查看模型的调用记录,获取模型调用方式、用时及调用时间等信息。 查看模型调用记录 在AI原生应用引擎的左侧导航栏选择“模型中心 > 模型调用记录”。 在“模型调用记录”页面,通过筛选调用方式、时间范围、状态,或输入模型名称可快速查看模型调用记录信息,如
模型API接入接口规范 当前模型网关支持文本对话(Chat)、文本向量化(Embeddings)、文本排序(Rerank)三种类型的API接入。模型API接入之前,请确保符合相对应的接口规范,其中Chat接口和Embeddings接口需要符合OpenAI接口规范,Rerank接口需要符合AI引擎标准协议。
),长度2~36个字符,仅支持中英文开头。 AI模型 在“模型A”下拉框中选择模型。 单击“+ AI模型”,还可以增加2个AI模型。 说明: 路由策略提供模型服务时,模型调用顺序为:模型A > 模型B > 模型C,当模型A无法正常工作时,可以自动依次切换为模型B、模型C。 策略总超时时间 模型路由策略的总体超时
per 无模型阈值上限 0-100000000 默认值100000000 无模型时配置的阈值上限(固定阈值线)。 对于新增的接口,因为没有历史数据,无法训练出该接口的模型,此时可以配置合适的值用来监控此类接口。 no_model_threshold_lower 无模型阈值下限 0-100000000
查看模型调用统计 模型调用统计页面展示当前租户所在的根部门以及租户下二级子部门的模型调用情况。 前提条件 需要具备AI原生应用引擎租户运营管理员权限,权限申请操作请参见AppStage组织成员申请权限。 查看模型调用统计 在AI原生应用引擎的左侧导航栏选择“运营看板 > 模型调用统计”。
模型调测时,无法选择模型服务商API是什么原因? 对模型服务商API调测前,需要先设置鉴权,具体操作请参见如何对模型供应商提供的模型服务设置鉴权。 父主题: AI原生应用引擎
础;微调数据集是模型微调的基础,通过在微调数据集上进行训练,您可以获得改进后的新模型以适应特定任务。 模型管理 支持通过API接入模型服务,同时支持将平台预置模型进行微调后,部署为模型服务,为检验模型的准确性及反应效果,您可以通过调测模型能力进行体验调测,确保模型能够在实际应用中正常运行。
限。 收藏平台资产中心的模型 在AI原生应用引擎的左侧导航栏选择“资产中心”。 在资产中心页面,选择“大模型”页签。 将鼠标光标移至模型卡片上,单击卡片右上角。 单击模型卡片右上角的,可以取消收藏。 收藏成功后,您可以在“模型中心 > 我的模型服务”页面“我收藏的”页签下,查看收
自接入的模型在模型调测的时候报错是什么原因? 接入第三方模型服务时,填写的模型名称必须为该模型的模型ID/模型编码(登录第三方模型厂商官网查看),例如:Baichuan4、deepseek-chat、glm-4-air,如图1所示,否则会导致模型不可用。 图1 接入模型服务 父主题:
参数解释: 模型服务调用唯一id字段。平台定义了4种模型服务: 1.平台预置模型服务 登录AI原生应用引擎,在左侧导航栏选择”资产中心“,选择“大模型”页签,单击模型卡片进入模型详情页面,查看模型服务调用ID。 2.租户部署模型服务 登录AI原生应用引擎,在左侧导航栏选择“模型中心 >
我接入的模型需要满足什么要求才能在创建Agent时作为思考模型? 模型本身支持FunctionCall。 接入的模型需要符合OpenAI接口规范且具体请参见模型API接入接口规范。 流式返回的工具调用信息必须在一条消息内,不能分拆返回。 接入模型服务时 ,在模型服务描述中填写:S
一站式创建Agent时如何取消选择默认模型,更换为其他模型 单击已选择的模型名称,在弹出框中单击模型名称后面的,取消选择当前模型,在下拉框中重新勾选其他模型即可。 父主题: AI原生应用引擎
在AI原生应用引擎左侧导航栏选择“凭证管理 > 模型鉴权设置”。 在“模型供应商列表”页面,单击模型供应商卡片上“设置鉴权”,针对不同的模型服务设置相应鉴权信息。 具体鉴权信息需根据界面提示前往模型供应商官网进行申请。 父主题: 管理模型
模型微调任务一直在等待中是什么原因? 模型微调任务一直在“等待中”状态,表示当前平台资源规格紧张,任务需要进行排队,请耐心等待。 父主题: AI原生应用引擎
我创建的微调数据集会被其他用户调用去训练他们的大模型吗? 用户个人创建的数据集是属于个人账号下的专属数据,未经本人许可不会被其他人员查看到,且不会被其他用户在大模型训练时调用。 父主题: AI原生应用引擎
应用指标摸板库生成指标运行失败 问题描述 应用指标摸板库生成指标时,提示运行失败。 处理方法 检查选择的数据源和应用的模型是否匹配。模型对选择的数据是有要求的,数据源和模型之间不匹配,将导致指标运行失败。 父主题: 运营中心
AI原生应用引擎训练好后的模型如何获取? 使用模型微调训练好模型后的新模型只能通过模型部署(创建模型服务)上线,无法下载至本地使用。 父主题: AI原生应用引擎
、测试模型服务时需要调用ChatGLM3-6B大模型服务API在线调用、大模型微调服务API在线调用-SFT局部调优,按需计费模式能大幅降低客户的业务成本。 适用计费项 AI原生应用引擎的以下计费项支持按需计费。 表1 适用计费项 计费项 说明 ChatGLM3-6B大模型服务API在线调用