检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提示词写作常用方法论 提示词工程是一项将知识、技巧和直觉结合的工作，需要通过不断实践实现模型输出效果的提升。提示词和模型之间存在着密切关系，本指南结合了大模型通用的提示工程技巧以及盘古大模型的调优实践经验，总结的一些技巧和方法更为适合基于盘古大模型的提示工程。 本文的方法论及技巧
流程可以基于python代码实现，也可以人工模拟每一步的执行情况。检索模块可以使用Elastic Search来搭建，也可以利用外部web搜索引擎。在初步验证大模型效果时，可以假设检索出的文档完全相关，将其与query及特定prompt模板拼接后输入模型，观察输出是否符合预期。 选择基模型/基础功能模型
创建插件 创建插件的步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“Agent开发”，跳转至Agent开发平台。 单击左侧导航栏“工作台”，在“插件”页签，单击右上角“创建插件”。 在“创建插件”页面，填
无监督领域知识数据量无法支持增量预训练，如何进行模型学习 一般来说，建议采用增量预训练的方式让模型学习领域知识，但预训练对数据量的要求较大，如果您的无监督文档量级过小，达不到预训练要求，您可以通过一些手段将其转换为有监督数据，再将转换后的领域知识与目标任务数据混合，使用微调的方式让模型学习。
模型开发 ModelArts Studio大模型开发平台提供了模型开发功能，涵盖了从模型训练到模型调用的各个环节。平台支持全流程的模型生命周期管理，确保从数据准备到模型部署的每一个环节都能高效、精确地执行，为实际应用提供强大的智能支持。 模型训练：在模型开发的第一步，ModelArts
压缩NLP大模型 模型在部署前，通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。 当前仅支持对NLP大模型进行压缩。 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型压缩”，单击界面右上角“创建压缩任务”。
明确任务需求 需要站在模型的角度理解相关任务的真实底层任务，并清晰描述任务要求。 例如，在文档问答任务中，任务本质不是生成，而是抽取任务，需要让模型“从文档中抽取出问题的答案，不能是主观的理解或解释，不能修改原文的任何符号、字词和格式”， 如果使用“请阅读上述文档，并生成以下问题
图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 仅图片 tar、图片目录 图片：支持jpg、jpeg、png、bmp类型。 ta
文本类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持文本类数据集的清洗操作，分为数据提取、数据转换、数据过滤三类，文本类加工算子能力清单见表1。
什么是盘古大模型 盘古大模型服务致力于深耕行业，打造多领域行业大模型和能力集。ModelArts Studio大模型开发平台是盘古大模型服务推出的集数据管理、模型训练和模型部署为一体的一站式大模型开发平台及大模型应用开发平台，盘古NLP大模型、多模态大模型、CV大模型、预测大模型
功能总览 功能总览 全部 数据工程工具链 模型开发工具链 应用开发工具链 能力调测 应用百宝箱 数据工程工具链 数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。
大模型开发基本流程介绍 大模型（Large Models）通常指的是具有海量参数和复杂结构的深度学习模型，广泛应用于自然语言处理（NLP）等领域。开发一个大模型的流程可以分为以下几个主要步骤： 数据集准备：大模型的性能往往依赖于大量的训练数据。因此，数据集准备是模型开发的第一步。
创建CV大模型训练任务 创建CV大模型微调任务 创建CV大模型微调任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”，单击右上角“创建训练任务”。 在“创建训练任务”页面，参考表1完成训练参数设置。
产品优势 预置多，数据工程“易” ModelArts Studio大模型开发平台预置多种数据处理AI算子，多种标注工具，满足用户多任务多场景需求，提高开发/标注效率>10X。 0代码，模型开发“简” ModelArts Studio大模型开发平台预置盘古系列预训练大模型，支持快速
数据集发布场景介绍 数据发布介绍 ModelArts Studio大模型开发平台提供的数据发布功能涵盖数据评估、数据配比和数据流通操作，旨在通过数据质量评估和合理的比例组合，确保数据满足大模型训练的多样性、平衡性和代表性需求，促进数据的高效流通和应用。 数据发布不仅包括将数据发布
构建流程 准备工作 为确保有可用的NLP大模型，请先完成NLP大模型的部署操作，详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。 本实践将使用华为云文本翻译API，请先完成创建多语言文本翻译插件操作。 操作流程 创建盘古多语言文本翻译工作流的流程见表1。
创建科学计算大模型训练任务 创建科学计算大模型中期天气要素预测微调任务 创建科学计算大模型中期天气要素预测微调任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”，单击右上角“创建训练任务”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
