盘古大模型 PANGULARGEMODELS-ModelArts Studio大模型开发平台使用流程:NLP大模型开发流程
下载盘古大模型 PANGULARGEMODELS用户手册完整版
NLP大模型开发流程
ModelArts Studio大模型开发平台提供了NLP大模型的全流程开发支持，涵盖了从数据处理到模型训练、压缩、部署、调用的各个环节。
|
流程 |
子流程 |
说明 |
操作指导 |
|---|---|---|---|
|
准备工作 |
申请试用盘古大模型服务 |
盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 |
|
|
配置服务访问授权 |
为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 |
||
|
创建并管理盘古工作空间 |
平台支持用户自定义创建工作空间，并进行空间的统一管理。 |
||
|
使用数据工程准备与处理数据集 |
导入数据至盘古平台 |
将用户数据导入至盘古平台的过程。 |
|
|
创建文本类数据集加工任务 |
数据集中若存在异常数据，可通过数据集加工功能去除异常字符、表情符号、个人敏感内容等。 |
||
|
创建文本类数据集标注任务 |
创建数据集标注任务，并对数据集执行标注操作，标注后的数据可以用于模型训练。 |
||
|
创建文本类数据集评估任务 |
评估文本通顺性、信息充分性、内容有效性等。 |
||
|
创建文本类数据集发布任务 |
创建数据集发布任务，并进行正式的数据集发布操作，可用于后续的训练任务。 平台支持发布的数据集格式为默认格式、盘古格式，可按需进行数据集格式转换。
|
||
|
开发盘古NLP大模型 |
训练NLP大模型 |
进行模型的训练，如预训练、微调等训练方式。 |
|
|
压缩NLP大模型 |
通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。 |
||
|
部署NLP大模型 |
部署后的模型可进行调用操作。 |
||
|
调用NLP大模型 |
支持“能力调测”功能与API两种方式调用大模型。 |
||
|
盘古NLP大模型应用开发 |
开发盘古大模型提示词工程 |
辅助用户进行提示词撰写、比较和评估等操作，并对提示词进行保存和管理。 |
|
|
开发盘古大模型Agent应用 |
基于NLP大模型，致力打造智能时代集开发、调测和运行为一体的AI应用平台。无论开发者是否拥有大模型应用的编程经验，都可以通过Agent平台快速创建各种类型的智能体。 |
||
|
管理盘古大模型空间资产 |
管理盘古数据资产 |
管理已发布的数据集。 |
|
|
管理盘古模型资产 |
管理预置或训练后发布的模型。 |
