检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用该鉴权方式前，请确保有已部署的大模型。 获取APPCode步骤如下： 登录ModelArts Studio平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 应用接入”，单击界面右上角“创建应用接入”。 在“应用配置”中，选择已部署好的大模型，单击“确定”。 在“应用接入”列表的“APP
数据工程是ModelArts Studio大模型开发平台（下文简称“平台”）为用户提供的一站式数据处理与管理功能，旨在通过系统化的数据获取、加工、发布等过程，确保数据能够高效、准确地为大模型的训练提供支持，帮助用户高效管理和处理数据，提升数据质量和处理效率，为大模型开发提供坚实的数据基础。 数据工程包含的具体功能如下：
构造请求 本节介绍REST API请求的组成，并以调用服务的获取用户Token接口说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987 。 请求示例如图1，一个请求主要由请求U
大模型生成文本的过程可视为一个黑盒，同一模型下对于同一个场景，使用不同的提示词也会获得不同的结果。提示工程是指在不更新模型参数的前提下，通过设计和优化提示词的方式，引导大模型生成目标结果的方法。 为什么需要提示工程 模型生成结果优劣取决于模型能力及提示词质量。其中模型能力的更新需要准备大量的数据及消耗大
动方案。 应用百宝箱是盘古大模型服务为用户提供的便捷AI应用集，用户可在其中使用盘古大模型预置的场景应用和外部应用，轻松体验大模型开箱即用的强大能力。 操作流程 使用盘古应用百宝箱生成创意活动方案的步骤如下： 登录ModelArts Studio大模型开发平台，进入所需空间。 在
发布数据集”，用于后续模型训练等操作。支持的发布格式为默认格式、盘古格式（适用于训练盘古大模型时）。目前，仅文本类和图片类数据集支持发布为“盘古格式”。 通过这些功能，平台能够帮助用户科学管理和发布数据集，确保数据集质量符合大模型训练的需求，从而提高后续模型训练的效果。 数据发布意义
提示词应用示例 应用提示词实现智能客服系统的意图匹配 应用提示词生成面试题目 父主题： 提示词写作实践
图片类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子，算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类 算子名称 算子描述
数据工程使用流程 高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。
过滤包含以下情况的QA对： 问题不是string格式。 回答为空。 回答无意义。 语种过滤 通过语种识别模型得到文档的语言类型，筛选所需语种的文档。 全局文本去重 检测并去除数据中重复或高度相似的文本，防止模型过拟合或泛化性降低。 数据打标 预训练文本分类 针对预训练文本进行内容分类，例如新闻、教
气象类清洗算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单 算子分类 算子名称
创建并管理盘古工作空间 盘古工作空间介绍 创建并管理盘古工作空间 管理盘古工作空间成员 父主题： 准备工作
明确任务需求 需要站在模型的角度理解相关任务的真实底层任务，并清晰描述任务要求。 例如，在文档问答任务中，任务本质不是生成，而是抽取任务，需要让模型“从文档中抽取出问题的答案，不能是主观的理解或解释，不能修改原文的任何符号、字词和格式”， 如果使用“请阅读上述文档，并生成以下问题
提示词写作进阶技巧 设置背景及人设 明确任务需求 添加CoT思维链提示 父主题： 提示词写作实践
数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持视频类数据集的清洗操作，分为数据提取、数据过滤、数据打标三类，视频类加工算子能力清单见表1。 表1
导入数据至盘古平台 数据集是一组用于处理和分析的相关数据样本。 用户将存储在OBS服务中的数据导入至ModelArts Studio大模型开发平台后，将生成“原始数据集”被平台统一管理，用于后续加工或发布操作。 创建导入任务 创建导入任务前，请先按照数据集格式要求提前准备数据。
设置背景及人设 背景： 模型基于简单prompt的生成可能是多范围的各方向发散的，如果您需要进行范围约束，或加强模型对已有信息的理解，可以进行提示：“结合xxx领域的专业知识...理解/生成...”、“你需要联想与xxx相关的关键词、热点信息、行业前沿热点等...生成...”，或
配置提示词。 如果“模型配置 > 模型选择”中没有可供选择的NLP大模型，请完成模型部署操作，详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。 “大模型”节点配置完成后，单击“确定”。 配置“结束”节点。 单击“结束”节点，如图11，配置输入参数与指定回复。
创建盘古工作空间步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”分页，单击“创建空间”。 填写空间名称、描述，单击“确认”，完成空间的创建。 图1 创建空间 单击创建好的空间，进入ModelArts Studio大模型开发平台。 如果用户具备多个空间的访问权限，可在页面左上角单击切换空间。
加工数据集 数据集加工场景介绍 数据集清洗算子介绍 加工文本类数据集 加工图片类数据集 加工视频类数据集 加工气象类数据集 管理加工后的数据集 父主题： 使用数据工程构建数据集
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
