检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基础知识 大模型开发基本流程介绍 大模型开发基本概念
约束与限制 受技术等多种因素制约，盘古大模型服务存在一些约束限制。 不同模型请求的最大Token数有所不同，具体信息请参见模型能力与规格。 关于模型支持的训练数据量要求，例如NLP大模型，请参考《用户指南》“开发盘古NLP大模型 > 训练NLP大模型 > NLP大模型训练流程与选择建议
提示词工程介绍 提示工程是一项将知识、技巧和直觉结合的工作，需要通过不断实践实现模型输出效果的提升。提示词和模型之间存在着密切关系，本指南结合了大模型通用的提示工程技巧以及盘古大模型的调优实践经验，总结的一些技巧和方法更为适合基于盘古大模型的提示工程。 本文的方法论及技巧部分使用了较为简单的任务作为示例
创建盘古NLP大模型SFT任务 场景描述 此示例演示了如何从头创建SFT（有监督微调）训练任务。通过该示例，您将了解以下内容： 如何将数据导入平台并进行数据加工、标注和评估操作。 如何创建SFT训练任务并配置训练参数，以提升文本理解和生成的质量。 如何执行模型的压缩和部署操作。 准备工作
配置服务访问授权 配置OBS访问授权 盘古大模型服务使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够顺利进行存储数据、训练模型等操作，需要用户配置访问OBS服务的权限。 登录ModelArts
申请试用盘古大模型服务 盘古大模型为用户提供了服务试用，需提交试用申请，申请通过后试用盘古大模型服务。 登录ModelArts Studio大模型开发平台首页。 在首页单击“试用咨询”，申请试用盘古大模型服务。 图1 申请试用 父主题： 准备工作
压缩NLP大模型 模型在部署前，通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。当前仅支持对NLP大模型进行压缩。采用的压缩方式是INT8，INT8量化压缩可以显著减小模型的存储大小，降低功耗，并提高计算速度。 登录ModelArts Studio大模型开发平台，进入所需操作空间
什么是提示词工程 提示词工程简介 提示词工程（Prompt Engineering）是一个较新的学科，应用于开发和优化提示词（Prompt），帮助用户有效地将大语言模型用于各种应用场景和研究领域。掌握提示词工程相关技能将有助于用户更好地了解大语言模型的能力和局限性。 提示词工程不仅是关于设计和研发提示词
获取提示词模板 平台提供了多种任务场景的提示词模板，可以帮助用户更好地利用大模型的能力，引导模型生成更准确、更有针对性的输出，从而提高模型在特定任务上的性能。 在创建提示词工程前，可以先使用预置的提示词模板，或基于提示词模板进行改造 。如果提示词模板满足不了使用需求可再单独创建。
管理盘古模型资产 模型资产介绍 用户在平台中可试用、订购或训练后发布的模型，将被视为模型资产并存储在空间资产内，方便统一管理与操作。用户可以查看模型的所有历史版本及操作记录，从而追踪模型的演变过程。同时，平台支持一系列便捷操作，包括模型训练、压缩和部署，帮助用户简化模型开发及应用流程
Agent开发平台概述 Agent开发平台简介 Agent开发平台是基于NLP大模型，致力打造智能时代集开发、调测和运行为一体的AI应用平台。无论开发者是否拥有大模型应用的编程经验，都可以通过Agent平台快速创建各种类型的智能体。Agent开发平台旨在帮助开发者高效低成本的构建AI
发布提示词 通过横向比较提示词效果和批量评估提示词效果，如果找到高质量的提示词，可以将这些提示词发布至“提示词模板”中。 在提示词“候选”页面，选择质量好的提示词，并单击“保存到模板库”。 图1 保存提示词至模板库 进入“Agent 开发 > 提示词工程 > 提示词模板”页面，查看发布的提示词
管理盘古数据资产 数据资产介绍 用户发布的数据集会被纳入数据资产，集中存储在空间资产中。平台为数据资产提供了一系列管理功能，包括查看数据集的详细信息、追踪操作记录、以及数据集的删除管理等。这不仅便于用户对已发布数据集的集中管理，还可帮助用户了解每个数据集的使用情况，从而简化数据资产的维护更新流程
调试Agent应用 平台提供对Agent执行过程的全链路信息观测与调试调优，通过对信息的分层分析和展示，为开发者提供了AI应用在不同层级的运行情况指导和操作，提升观测和调试效率。通过Insight提供了Agent的运行和观测能力。创建并运行Agent后，可通过单击Insight查看该
统计模型调用信息 针对调用的大模型，平台提供了统一的管理功能。 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 单击左侧导航栏“调用统计”，选择“NLP”页签。 选择当前调用的NLP大模型，可以按照不同时间跨度查看当前模型的调用总数、调用失败的次数
盘古大模型空间资产介绍 在ModelArts Studio大模型开发平台的空间资产中，包括数据和模型两类资产。这些资产为用户提供了集中管理和高效操作的基础，便于用户实现统一查看和操作管理。 数据资产：用户已发布的数据集将作为数据资产存放在空间资产中。用户可以查看数据集的详细信息，包括数据格式
配置知识 配置知识的步骤如下： 在“高级配置 > 知识”，单击“添加”。 在“添加知识”窗口，单击“点此上传”，上传知识文件。 图1 添加知识 上传完成后，单击“确定”。 在“高级配置”中，可查看上传成功的知识文件。 图2 知识上传成功 父主题： 手工编排Agent应用
创建提示词工程 通过精心设计和优化提示词，可以引导大模型生成用户期望的输出。提示词工程任务的目标是通过设计和实施一系列的实验，来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程，用于对提示词进行统一管理。 登录ModelArts Studio大模型开发平台
预览提示词效果 提示词撰写完成后，可以通过输入具体的变量值，组成完整的提示词，查看不同提示词在模型中的使用效果。 在撰写提示词页面，找到页面右侧变量输入区域，在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息，变量集是一个
撰写所需提示词 提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息，如主题、风格、格式等。 撰写提示词时，可以设置提示词变量。即在提示词中通过添加占位符{{ }}标识表示一些动态的信息，让模型根据不同的情况生成不同的文本，增加模型的灵活性和适应性。例如，将提示词设置为
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
