检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建模型失败 问题描述 新建数据模型时,提示保存失败。 处理方法 检查数据模型度量数据的“聚合类型”函数设置是否合理,比如“聚合类型”设置为求和“sum”函数,这种情况会导致数据建模保存报错。 父主题: 运营中心
开源模型怎么部署? 开源模型的部署需要购买推理单元,具体操作如下: 在AI原生应用引擎的左侧导航栏选择“资产中心”,选择“大模型”页签。 将鼠标光标移至待部署的开源模型卡片上,单击“部署”。 在“创建部署服务”页面,可以查看到需要几个推理单元,单击“购买推理单元资源”。 图1 创建部署服务
数据模型修改或者删除失败 问题描述 修改/删除数据模型时,提示修改/删除失败。 处理方法 检查数据模型是否已经被指标使用。 父主题: 运营中心
手动安装OpsAgent失败怎么办? 问题描述 远程登录主机后,手动执行复制的安装命令安装OpsAgent时出现如图1所示报错。 图1 安装OpsAgent失败 根因分析 为主机安装OpsAgent需要通过169.254.169.254获取主机元数据信息,安装失败的原因可能是169.254
我接入的模型需要满足什么要求才能在创建Agent时作为思考模型? 模型本身支持FunctionCall。 接入的模型需要符合OpenAI接口规范且具体请参见模型API接入接口规范。 流式返回的工具调用信息必须在一条消息内,不能分拆返回。 接入模型服务时 ,在模型服务描述中填写:S
load错误提示,如下图 可能原因 日志中提示加载模型失败,可能是因为容器在启动时加载模型失败。 解决方法 依次单击“初始化Daemon”、“注册任务”和“启动任务”,重启judge,重新启动容器后观察是否恢复正常。 父主题: 异常检测Judge定时任务失败
平台有没有预置模型? 平台预置了开源模型chatglm3-6b,并提供对应的模型服务API,但是该模型能力有限,只能作为问答模型,不能作为思考模型。首次使用该模型服务API需要订购免费的“ChatGLM3-6B大模型服务API在线调用”资源,订购后即可进行体验,订购操作请参见购买AppStage。
模型调测时,无法选择模型服务商API是什么原因? 对模型服务商API调测前,需要先设置鉴权,具体操作请参见如何对模型供应商提供的模型服务设置鉴权。 父主题: AI原生应用引擎
将已有模型部署为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后,可以对模型服务进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 本文介绍如何将微调后的模型或部分平台预置的模型部署为模型服务。 前提条件 已购买推理单元资源,具体购买方法请参见购买AI原生应用引擎包年包月资源。
绑定root通道失败怎么办? 问题描述 绑定root通道时出现{"cause":"no root key","detail":"not found host:10.32.37.127 rootSshRecord.","success":false}报错。 处理方法 检查是否禁用了root
应用指标摸板库生成指标运行失败 问题描述 应用指标摸板库生成指标时,提示运行失败。 处理方法 检查选择的数据源和应用的模型是否匹配。模型对选择的数据是有要求的,数据源和模型之间不匹配,将导致指标运行失败。 父主题: 运营中心
大模型微调需要的数据有要求吗? AI原生应用引擎用于大模型微调的数据集任务领域为“自然语言处理”、数据集格式为“对话文本”。 文件内容要求为标准json数组,例如: [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":
规范要求请参见模型API接入接口规范。 创建接入模型服务 在AI原生应用引擎的左侧导航栏选择“模型中心 > 我的模型服务”,单击“接入模型服务”。 在“创建接入模型服务”页面,参照表1配置模型信息。 表1 模型信息参数说明 参数名称 参数说明 模型名称 自定义模型名称。支持中英文
通过模型微调任务进行模型训练,微调任务结束后,将生成改进后的新模型。 部署模型 模型部署是通过为基座模型(即原模型)和微调后的新模型创建用于预测的模型服务的过程实现。 测试模型调优效果 在线测试微调后的模型(输入问题发起请求获取数据分析结果),可检验模型的准确性、可靠性及反应效果。 清除相应资源 对
单击“体验”,进入模型调测页面。 在“模型调测”页面,可调测文本对话类型模型、文本生图类型模型、图像理解类型模型、语音转文本类型模型、文本向量化类型模型、文本转语言类型模型、工具调用类型模型以及文本排序类型模型。 调测文本对话类型模型,具体操作如下: 在“模型类型”下选择“文本对话”并配置表1所示参数。
模型API接入接口规范 当前模型网关支持文本对话(Chat)、文本向量化(Embeddings)、文本排序(Rerank)三种类型的API接入。模型API接入之前,请确保符合相对应的接口规范,其中Chat接口和Embeddings接口需要符合OpenAI接口规范,Rerank接口需要符合AI引擎标准协议。
数据标注是将微调数据集中的某些元素进行标记或分类,以便模型可以更好地理解和使用这些数据。例如,在自动驾驶的应用中,云数据可以被标注为包含建筑物、其他小物体、交通工具等信息,以便模型可以识别和理解这些对象。在辅助数据标注的方法中,通过训练模型,可以实现标注结果,从而提高数据的质量和准确性。
),长度2~36个字符,仅支持中英文开头。 AI模型 在“模型A”下拉框中选择模型。 单击“+ AI模型”,还可以增加2个AI模型。 说明: 路由策略提供模型服务时,模型调用顺序为:模型A > 模型B > 模型C,当模型A无法正常工作时,可以自动依次切换为模型B、模型C。 策略总超时时间 模型路由策略的总体超时
创建微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据集是模型微调的基础,通过在微调数据集上进行训练从而获得改进后的新模型。 平台在资产中心预置了部分微调数据集,同时也支持用户根据需求自定义创建微调数据集。本文介绍如何创建微调数据集。
布数据模型。 下线数据模型 当指定数据模型为“已发布”状态时,单击操作列“下线”,可以下线数据模型。 修改数据模型 当指定数据模型为“草稿”或“已下线”状态时,单击“修改”,可以修改数据模型信息。 删除数据模型 当指定数据模型为“草稿”状态时,单击“删除”,可以删除数据模型。 说明: