检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提示词工程介绍 提示工程是一项将知识、技巧和直觉结合的工作,需要通过不断实践实现模型输出效果的提升。提示词和模型之间存在着密切关系,本指南结合了大模型通用的提示工程技巧以及盘古大模型的调优实践经验,总结的一些技巧和方法更为适合基于盘古大模型的提示工程。 本文的方法论及技巧部分使用
数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力,对原始数据进行优化,确保其质量和一致性。同时,数据工
示例如图2,您可以依据模板进行填写。 图2 配置Prompt 填写后可通过大模型进行优化,单击“智能优化”,在 “Prompt优化”窗口中单击“确定”。 步骤3:添加预置插件 应用支持添加插件技能,可添加“预置插件”和“个人插件”。添加插件可以为应用配备更多技能,建议插件数量不超过5个。 本
数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力,对原始数据进行优化,确保其质量和一致性。同时,数据工
的形式和丰富的内容吸引了大量流量,并为企业和个人提供了一个全新的营销平台。短视频用户希望借助大模型快速生成高质量的口播文案,以提升营销效果和效率。在这种场景下,用户只需提供一些基本信息,大模型就能生成需求的文案,从而大大提高文案的质量和效率。 除了短视频风格的口播文案,营销文案还
集的标注质量。针对文本和图片类数据集,平台还提供AI预标注功能,利用盘古大模型的智能能力,显著降低人工标注的工作量和成本,从而提高标注效率。 数据评估:平台支持对处理后的数据进行质量评估,生成详细的质量评估报告。这些报告能够帮助用户检验数据的准确性、完整性和一致性,确保数据在进入模型训练前的高质量标准。
能模型)来获取有监督场景。一个比较常见的方法是,将无监督的文本按照章节、段落、字符数进行切片,让模型基于这个片段生成问答对,再将段落、问题和答案三者组装为有监督数据。使用模型构建的优点是数据丰富度更高,缺点是成本较高。 当您将无监督数据构建为有监督数据时,请尽可能保证数据的多样性
数据发布不仅包括数据的格式转换,还涉及数据比例的调整,以确保数据在规模、质量和内容上满足训练标准。具体而言,数据集发布具有以下重要意义: 数据比例和结构调整:平台提供灵活的数据比例调整功能,用户可以按需调整数据集的各类数据比例,确保数据集在训练时的代表性和均衡性,从而避免数据分布不均导致的训练问题。 多种
命令案例:科技行业公司的平均利润和市值是多少 通过调用大模型,获取更多数据: 1. "请给我科技行业公司的利润平均值和市值平均值。" 2. "科技行业的公司平均利润和市值都是多少?" 3. "我需要知道科技行业公司的平均利润和平均市值。" 4. "能告诉我一下科技行业公司的平均利润和市值是多少吗?"
获取、加工、标注、评估和发布等过程,确保数据能够高效、准确地为大模型的训练提供支持,帮助用户高效管理和处理数据,提升数据质量和处理效率,为大模型开发提供坚实的数据基础。 数据工程所包含的具体功能如下: 数据获取:数据获取是数据工程的第一步,涉及从不同来源和格式的数据导入到平台。ModelArts
词并生成相关的输出。这是因为模型通过学习大量的训练数据,逐渐建立起对特定模式、结构和语言的理解,因此,提示词中包含的关键词、句式和语境如果与训练数据中的模式接近,模型能够“回忆”并运用已学习的知识和指令。 不同模型间效果差异。 由于不同厂商采用的训练策略和数据集差异,同一提示词在
配置开场白和推荐问题 配置开场白和推荐问题的步骤如下: 在“高级配置 > 开场白和推荐问题”中,可输入自定义开场白,也可单击“智能添加”。 在推荐问中单击“添加”,可增加推荐问数量。添加后可在右侧“预览调试”中查看相应效果。 最多可以添加3个推荐问。 图1 预览调试查看开场白与推荐问效果
视频类加工算子能力清单 数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持视频类数据集的加工操作,分为数据提取、数据过滤、数据打标三类,视频类加工算子能力清单见表1。
数据量和质量均满足要求,为什么盘古大模型微调效果不好 这种情况可能是由于以下原因导致的,建议您排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或
CoT思维链 对于复杂推理问题(如数学问题或逻辑推理),通过给大模型示例或鼓励大模型解释推理过程,可以引导大模型生成准确率更高的结果。 单样本/多样本 可以在提示词中提供示例,让模型先学习后回答,在使用这种方法时需要约束新样例不能照抄前面给的参考样例,新样例必须多样化、不能重复等
图文类加工算子能力清单 表1 图文类加工算子能力清单 算子分类 算子名称 算子描述 数据提取 图文提取 提取图文压缩包中的JSON文本和图片,并对图片进行结构化解析(BASE64编码)。 数据过滤 图文文本长度过滤 过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母,文本长度均计数为1。
分步推理与反馈:通过分步推理,模型能够在每个步骤后检查和修正自己的思考过程。 例如,在给定一个复杂的逻辑推理问题时,可以要求模型每完成一小步推理,就提供中间结论和推理过程。这样,模型不仅能增加解题的准确性,还能增强理解和自我校正的能力。 通过在提示词中采用思维链的方式,提供相关
Studio大模型开发平台为用户提供了多种规格的NLP大模型,以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异,以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 表1 盘古NLP大模型规格 模型支持区域 模型名称 可处理最大Token长度
使用盘古预置NLP大模型进行文本对话 场景描述 此示例演示了如何使用盘古预置NLP大模型进行对话问答,包含两种方式:使用“能力调测”功能和调用API接口。 您将学习如何使用“能力调测”功能调试模型超参数、如何调用盘古NLP大模型API以实现智能化对话问答能力。 准备工作 请确保您
气象类加工算子能力清单 数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持气象类数据集的加工操作,气象类加工算子能力清单见表1。 表1 气象类加工算子能力清单