正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AI原生应用引擎训练好后的模型如何获取? 使用模型微调训练好模型后的新模型只能通过模型部署(创建模型服务)上线,无法下载至本地使用。 父主题: AI原生应用引擎
数据集是模型微调的基础,首先需要创建用于模型训练的数据集。 创建模型微调流水线 通过模型微调任务进行模型训练,微调任务结束后,将生成改进后的新模型。 部署模型 模型部署是通过为基座模型(即原模型)和微调后的新模型创建用于预测的模型服务的过程实现。 测试模型调优效果 在线测试微调后的模型(输入问题发起请求
而更好地控制模型的输出。 3 调优大模型 创建模型微调流水线 通过选择合适的数据集,调整参数,训练平台预置的模型以调优模型效果,可通过训练过程/结果指标初步判断调优效果。 创建模型服务 模型需要部署成功后才可正式提供模型推理服务,平台支持将微调后的模型、系统预置的模型以及通过自建
我创建的微调数据集会被其他用户调用去训练他们的大模型吗? 用户个人创建的数据集是属于个人账号下的专属数据,未经本人许可不会被其他人员查看到,且不会被其他用户在大模型训练时调用。 父主题: AI原生应用引擎
况下,会将数据集分成训练集和测试集两部分,其中训练集用于训练模型,测试集用于评估模型的性能。 在实际应用中,训练数据比例的选择取决于许多因素,例如可用数据量、模型复杂度和数据的特征等。通常情况下,会选择较大的训练数据比例,以便训练出更准确的模型。一般来说,训练数据比例在70%到90%之间是比较常见的选择。
调测模型 通过调测模型,可检验模型的准确性、可靠性及反应效果,发现模型中存在的问题和局限性,确保模型能够在实际应用中正常运行,并且能够准确地预测和处理数据。 前提条件 已部署或接入模型服务,具体操作请参见创建模型服务 调测模型 在AI原生应用引擎的左侧导航栏选择“模型中心 > 模型调测”。
模型中心 模型中心概述 创建模型微调流水线 调测模型 查看模型调用记录
查看模型调用记录 用户可以通过查看模型(包括平台预置模型及自建模型)的调用记录,获取模型调用方式、用时及调用时间等信息。 查看模型调用记录 在AI原生应用引擎的左侧导航栏选择“模型中心 > 模型调用记录”。 在“模型调用记录”页面,通过筛选调用方式、时间范围、状态,或输入模型名称
词。 在右侧“模型效果预览”区域查看效果。 单击“发布”,模型服务发布成功。 管理我接入的模型服务 模型服务发布完成后,可执行如下表4所示的管理模型服务相关操作。 表4 管理我接入的模型服务 操作 说明 取消发布模型服务 在模型列表“操作”列单击“取消发布”。 模型调测 在“我接
基本概念 大模型推理服务 直接调用预置大模型提供API完成推理过程。 私有模型部署 针对已经微调训练好的模型,如需评测此模型效果,或通过应用调用此模型,则需将模型部署为线上服务。 向量知识库 通过引入多种类型和格式的企业知识,将数据转化为向量,并利用高效的存储和索引方式进行查询,实现基于检索增强的大模型能力。
设置模型鉴权 租户调用第三方模型服务前需设置鉴权,具体鉴权信息则需根据界面提示前往模型供应商官网进行申请。 前提条件 需要具备AI原生应用引擎管理员权限,权限申请操作请参见AppStage组织成员申请权限。 操作步骤 在AI原生应用引擎左侧导航栏选择“系统管理 > 模型鉴权设置”。
模型调用 文本对话 文本向量化 父主题: API
创建模型服务 创建部署服务 创建接入模型服务 父主题: Agent编排中心
AI原生应用引擎应用场景 面向不同的企业需求,AI原生应用引擎提供不同的功能服务。 例如,智能对话、以文搜图、NL2SQL等通用应用场景,可在AI原生应用引擎体验各大模型推理云服务,并通过可视化画布流程编排进行业务集成。 细分领域如金融、电网场景,需要对推理结果进行定制调整,则可
布数据模型。 下线数据模型 当指定数据模型为“已发布”状态时,单击操作列“下线”,可以下线数据模型。 修改数据模型 当指定数据模型为“草稿”状态时,单击“修改”,可以修改数据模型信息。 删除数据模型 当指定数据模型为“草稿”或“已下线”状态时,单击“删除”,可以删除数据模型。 父主题:
创建微调数据集 数据集是数据的集合,微调数据集是模型训练的基础。用户可自主创建用于模型训练的数据集。 前提条件 通过OBS接入数据时,操作账号需获得OBS(对象存储服务)只读权限,具体操作请参见对其他账号授予桶的读写权限。 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。
AI原生应用引擎支持所有数据集进行数据标注吗? 进行标注的数据集必须同时满足用途为“模型训练”、任务领域为“自然语言处理”、任务子领域为“文本生成”、数据集格式为“对话文本”四个条件。 父主题: AI原生应用引擎
分类,以便模型可以更好地理解和使用这些数据。例如,在自动驾驶的应用中,云数据可以被标注为包含建筑物、其他小物体、交通工具等信息,以便模型可以识别和理解这些对象。在辅助数据标注的方法中,通过训练模型,可以实现标注结果,从而提高数据的质量和准确性。 前提条件 需要具备AI原生应用引擎
知识中心概述 数据是模型训练(含数据标注)以及知识库的基础,在整个模型、知识库中起着至关重要的作用。知识中心提供统一的数据管理功能,将分散的数据进行集中式纳管,从而节省了数据收集和管理的成本。 知识中心纳管了用户自定义的和平台预置的数据集,可供模型微调、数据标注、创建知识库时快捷使用。
大模型微调需要的数据有要求吗? AI原生应用引擎用于大模型微调的数据集任务领域为“自然语言处理”、数据集格式为“对话文本”。 文件内容要求为标准json数组,例如: [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":