检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 申请试用盘古大模型服务 订购盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间 04 AI一站式流程 通过一站式流程，完成从数据导入、数据加工、数据发布、模型训练、模型压缩、模型部署、模型评测到模型调用，全面掌握盘古大模型的开发过程。
'database': { 'video_name':{ // 训练集 train 测试集 test。
使用API调用NLP大模型 预置模型或训练后的模型部署成功后，可以使用“文本对话”API实现模型调用。
这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持视频类数据集的加工操作，分为数据提取、数据过滤、数据打标三类，视频类加工算子能力清单见表1。
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外，平台还支持导入其他类数据集，即用户训练模型时使用的自定义数据集。 其他类数据集支持发布其他类数据集操作。 其他类数据集要求单个文件大小不超过50GB，单个压缩包大小不超过50GB，文件数量最多1000个。
发布视频类数据集 数据发布是将数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 视频类数据集当前仅支持发布为“标准格式”。
使用API调用科学计算大模型 预置模型或训练后的模型部署成功后，可以使用API调用科学计算大模型。 获取调用路径 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 获取调用路径。 在左侧导航栏中选择“模型开发 > 模型部署”。
评测数据集的创建步骤与训练数据集一致，本章节仅做简单介绍，详细步骤请参见使用数据工程构建NLP大模型数据集。 登录ModelArts Studio平台，进入所需空间。 在左侧导航栏中选择“数据工程 > 数据获取”，单击界面右上角“创建导入任务”。
盘古格式：使用盘古大模型训练时所需要使用的数据格式，该数据集将被用于ModelArts Studio大模型开发平台的模型开发中使用。 如果使用该数据集训练盘古大模型，请将选择格式配置为盘古格式。 填写数据集名称、描述，设置扩展信息后，单击“确定”执行数据集发布操作。
这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持文本类数据集的加工操作，分为数据提取、数据转换、数据过滤、数据打标四类，文本类加工算子能力清单见表1。
同时，平台支持数据集的删除等管理操作，使用户能够统一管理数据集资源，以便在模型训练和分析时灵活调用，确保数据资产的规范性与安全性。 模型资产：平台提供的模型资产涵盖了预置或训练后发布的模型，所有这些模型将存放于空间资产中进行统一管理。
模型开发-训练、评测最小数据量要求 使用ModelArts Studio平台训练、评测不同模型时，存在不同数据量的限制。以NLP大模型为例，请参考《用户指南》“开发盘古NLP大模型 > 使用数据工程构建NLP大模型数据集”。
变更计费模式 盘古大模型的模型订阅、数据托管单元、推理单元默认采用包周期计费，训练单元、数据智算单元、数据通算单元采用包周期和按需计费两种方式。 盘古大模型使用周期内不支持变更配置。
提示词工程相关概念 表4 提示词工程相关概念说明 概念名 说明 提示词 提示词（Prompt）是一种用于与AI人工智能模型交互的语言，用于指示模型生成所需的内容。
若实际使用场景是可以通过提示词模板实现，建议实际使用的提示词模板与训练数据中的提示词模板保持一致。例如文本分类场景训练数据中的提示词模板为“以下句子属于哪个类别：xxx”，那么实际使用时也应该为“以下句子属于哪个类别：xxx”模板来引导模型输出。
模型资产：模型资产包括用户试用、订购或在平台上训练后发布的模型，这些模型统一存储在模型资产中，便于集中管理。用户可以查看模型的所有历史版本及操作记录，从而了解模型的演变过程。同时，平台支持一系列便捷的模型操作，如模型训练、压缩和部署，帮助用户简化模型开发和应用流程。
同一资源是否同时支持包年/包月和按需计费两种模式 盘古大模型的模型订阅、数据托管单元、推理单元默认采用包周期计费， 训练单元、数据智算单元、数据通算单元采用包周期和按需计费两种方式。 两种计费方式不能共存，只支持按照一种计费方式进行订购。 父主题： 计费FAQ
调优思路：模型调优总体可分为两方面，数据预处理和模型训练参数优化，优化思路是从最简单的情形出发，逐步迭代调整提升模型效果，通过实验发现和确认合适的数据量，以及最佳的模型结构和模型参数。 父主题： 盘古科学计算大模型调优实践
预训练文本 jsonl jsonl格式：text表示预训练所使用的文本数据，具体格式示例如下： {"text":"盘古大模型，是华为推出的盘古系列AI大模型，包括NLP大模型、多模态大模型、CV大模型、科学计算大模型、预测大模型。"}
Agent开发 Agent开发平台为开发者提供了一个全面的工具集，帮助您高效地开发、优化和部署应用智能体。无论您是新手还是有经验的开发者，都能通过平台提供的提示词工程、插件扩展、灵活的工作流设计和全链路调测功能，快速实现智能体应用的开发与落地，加速行业AI应用的创新与应用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
