检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过模型微调任务进行模型训练,微调任务结束后,将生成改进后的新模型。 部署模型 模型部署是通过为基座模型(即原模型)和微调后的新模型创建用于预测的模型服务的过程实现。 测试模型调优效果 在线测试微调后的模型(输入问题发起请求获取数据分析结果),可检验模型的准确性、可靠性及反应效果。 清除相应资源 对
创建微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据集是模型微调的基础,通过在微调数据集上进行训练从而获得改进后的新模型。 平台在资产中心预置了部分微调数据集,同时也支持用户根据需求自定义创建微调数据集。本文介绍如何创建微调数据集。
Stage。 平台预置了开源模型Qwen系列、DeepSeek系列等,请参考将已有模型部署为模型服务进行部署,部署后即可进行调测(体验)、调用。 平台预置了第三方厂商闭源模型,例如GLM系列、Moonshot系列等,请先参考如何对模型供应商提供的模型服务设置鉴权设置鉴权,再进行调测(体验)、调用。
基于微调数据集进行模型微调 创建微调数据集 收藏预置微调数据集 对微调数据集进行数据标注 创建模型微调任务 父主题: 管理模型
部署包 部署包就是ansible-playbook,作为业务虚拟机部署的脚本使用。 图1 部署包结构 其中package.json里面的内容为playbook。 父主题: 打包规范
一站式创建Agent时如何取消选择默认模型,更换为其他模型 单击已选择的模型名称,在弹出框中单击模型名称后面的,取消选择当前模型,在下拉框中重新勾选其他模型即可。 父主题: AI原生应用引擎
我接入的模型需要满足什么要求才能在创建Agent时作为思考模型? 模型本身支持FunctionCall。 接入的模型需要符合OpenAI接口规范且具体请参见模型API接入接口规范。 流式返回的工具调用信息必须在一条消息内,不能分拆返回。 接入模型服务时 ,在模型服务描述中填写:S
收藏预置微调数据集 支持将平台预置微调数据集进行收藏,收藏后可便捷地在模型微调任务中使用。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 收藏预置微调数据集 在AI原生应用引擎的左侧导航栏选择“资产中心”。 在资产中心页面,选择“数据集”页签。
以定义若干配置项。 私有配置集版本 选择私有配置版本。 私有配置前缀 私有配置集及版本选择后会自动生成私有配置前缀。 公共配置集 选择公共配置集。公共配置集是产品级别的资源, 配置集内可以定义若干配置项。 公共配置前缀 公共配置集选择后会自动生成公共配置前缀。 步骤列表 步骤名称
务在服务部署期间,期望不收到告警信息时可以开启自动屏蔽告警。 配置信息 私有配置集 选择私有配置集。 私有配置集是服务环境级别的资源,配置集内可以定义若干配置项。 私有配置集版本 选择私有配置版本。 私有配置前缀 私有配置集及版本选择后会自动生成私有配置前缀。 公共配置集 选择公共配置集。公共配置集是产品级别的资源,
应用部署 配置服务环境 申请资源 更新环境 父主题: 一站式应用开发、应用托管以及应用运维
该参数值来源于“通用数据接入”页面配置的数据名称。 配置完成后,单击“确认”。 配置数据模型基础信息。可根据需要修改参数“模型名称”、“模型显示名”、“任务类型”、“描述”,参数说明请参见表1。 配置数据模型表字段。可根据需要新增/修改/删除表字段,字段参数说明请参见表2。 配置完成后,单击“下一步”。
数据模型修改或者删除失败 问题描述 修改/删除数据模型时,提示修改/删除失败。 处理方法 检查数据模型是否已经被指标使用。 父主题: 运营中心
> 大模型”,查看支持的模型服务。例如调用Baichuan2-Turbo模型服务,model填写为Baichuan2-Turbo即可。 租户部署模型服务 登录AI原生应用引擎,在左侧导航栏选择“模型中心 > 我的模型服务 > 我部署的”,model填写为对应模型服务的模型服务调用ID。
数据标注是将微调数据集中的某些元素进行标记或分类,以便模型可以更好地理解和使用这些数据。例如,在自动驾驶的应用中,云数据可以被标注为包含建筑物、其他小物体、交通工具等信息,以便模型可以识别和理解这些对象。在辅助数据标注的方法中,通过训练模型,可以实现标注结果,从而提高数据的质量和准确性。
使用部署包部署虚拟机 在部署服务创建部署模板 在部署服务创建部署任务 父主题: 使用部署服务进行自动化变更
默认值100000000 无模型时配置的阈值上限(固定阈值线)。 对于新增的接口,因为没有历史数据,无法训练出该接口的模型,此时可以配置合适的值用来监控此类接口。 no_model_threshold_lower 无模型阈值下限 0-100000000 默认值0 无模型时配置的阈值下限(固定阈值线)。
部署上线 环境准备 部署软件包 配置监听 业务验证 父主题: 基于Spring Cloud框架进行应用上云
> 大模型”,查看支持的模型服务。例如调用Baichuan2-Turbo模型服务,model填写为Baichuan2-Turbo即可。 租户部署模型服务 登录AI原生应用引擎,在左侧导航栏选择“模型中心 > 我的模型服务 > 我部署的”,model填写为对应模型服务的模型服务调用ID。
大模型微调需要的数据有要求吗? AI原生应用引擎用于大模型微调的数据集任务领域为“自然语言处理”、数据集格式为“对话文本”。 文件内容要求为标准json数组,例如: [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":