检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提示词评估以任务维度管理，支持评估任务的创建、查询、修改、删除。支持创建评估任务，选择候选提示词和需要使用的变量数据集，设置评估算法，执行任务自动化对候选提示词生成结果和结果评估。 提示词管理 提示词管理支持用户对满意的候选提示词进行保存管理，同时支持提示词的查询、删除。 图1 提示词工程使用流程
数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子，算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类 算子名称 算子描述 数据提取
数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单 算子分类 算子名称 算子描述
通用”页签，单击“创意活动方案生成”进入该应用。 图1 “创意活动方案生成”应用 如图2，在应用页面，输入所需的活动主题与活动描述，单击“创作”。 图2 活动主题与描述 该预置应用将根据所输入的主题与描述，在“结果生成”中生成相应的创意活动方案。 图3 创意活动方案生成结果
布式训练，能够处理大规模数据集，从而帮助用户快速提升模型性能。 模型评测：为了确保模型的实际应用效果，平台提供了多维度的模型评测功能。通过自动化的评测机制，用户可以在训练过程中持续监控模型的精度、召回率等关键指标，及时发现潜在问题并优化调整。评测功能能够帮助用户在多种应用场景下验证模型的准确性与可靠性。
”、“天空为什么是蓝色的？” 说明：对任务要求的补充说明。如：“有冒险、友情等元素”、“生成文本少于200字” 上下文：提供角色、示例、外部信息等，供大模型参考。 提示工程是什么 大模型生成文本的过程可视为一个黑盒，同一模型下对于同一个场景，使用不同的提示词也会获得不同的结果。提
而大模型则能够理解问题的上下文，结合多个搜索结果生成简洁的答案，或提供更详细的解释，从而进一步改善用户的搜索体验。 温度 用于控制生成文本的多样性和创造力。调高温度会使得模型的输出更多样性和创新性。 默认值：0 核采样 控制生成文本多样性和质量。调高核采样可以使输出结果更加多样化。
查看评估进展 评估完成后，可以查看每条数据的评估结果。 在评估结果中，“预期结果”表示变量值（问题）所预设的期望回答，“生成结果”表示模型回复的结果。通过比对“预期结果”、“生成结果”的差异可以判断提示词效果。 父主题： 批量评估提示词效果
据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。 数据合成 利用预置或自定义的数据指令对原始数据进行处理，并根据设定的轮数生成新数据。该过程能够在一定程度上扩展数据集，增强训练模型的多样性和泛化能力。 数据标注 为无标签数据集添加准确的标签，确保模型训练所需的高质
checkpoints：在模型训练过程中，用于保存模型权重和状态的机制。 关闭：关闭后不保存checkpoints，无法基于checkpoints执行续训操作。 自动：自动保存训练过程中的所有checkpoints。 自定义：根据设置保存指定数量的checkpoints。 训练参数 训练轮数 表示完成全部训
数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持视频类数据集的清洗操作，分为数据提取、数据过滤、数据打标三类，视频类加工算子能力清单见表1。 表1 视频类清洗算子能力清单
创建提示词工程 通过精心设计和优化提示词，可以引导大模型生成用户期望的输出。提示词工程任务的目标是通过设计和实施一系列的实验，来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程，用于对提示词进行统一管理。 登录ModelArts Studio大模型开发平台，进入所需空间。
成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工程工具链还提供强大的数据存储和管理能力，为大模型训练提供高质量的数据支撑。
口数量上全覆盖。 数据中需要提供JSON的字段解释，以及Query和JSON生成逻辑解释。这些信息需要拼入Prompt，并确保人以及大模型可以根据Query、字段解释、Query到JSON的生成逻辑生成符合客户要求的JSON。Prompt会作为输入（context字段）的内容组成
在“预览调试”的左下角，选择是否开启“代码解释器”。 如果开启，应用将支持生成并运行Python代码来解决用户数据处理和分析、数据可视化、数学计算等方面的需求。 如果关闭，应用将不具备生成、运行代码的能力。 在右侧“预览调试”的文本框中输入对话，应用将根据对话生成相应的回答。 应用调试成功后，可执行后续的调用操作调用应用。
查看不同提示词在模型中的使用效果。 在撰写提示词页面，找到页面右侧变量输入区域，在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息，变量集是一个excel文件，每行数据是需要输入的变量值信息，可以通过“导入”功能进行上传。
文本生成：对于文本生成场景（宣传文案生成、信稿文本生成、文学创作等），通常希望生成的文本有一点的多样性，建议在保证不过于随机的基础上，增大“温度”或“核采样”的值（二者选其一调整）。若发现生成的文本过于发散，可以降低“话题重复度控制”的值，保证内容统一；反之若发现内容过于单一，甚至出现了复读机式的重复内容生成，则需要增加“话题重复度控制”的值。
``` %s ``` 生成的内容必须满足以下要求： 1.生成内容的字数要求为200个字左右； 2.生成的内容必须生动有趣、丰富多样； 3.生成内容的语言风格必须口语化； 4.生成的内容开头必须能足够引起观众的兴趣，比如可以采取对目标观众反问、对比等方式； 5.生成的内容结尾必须要引导观众购买；
配置Prompt Builder步骤如下： 在“Prompt builder”模块，可依据模板填写Prompt，单击“示例”，输入框中将自动填入角色指令模板。 示例如图2，您可以依据模板进行填写。 图2 配置Prompt 填写后可通过大模型进行优化，单击“智能优化”，在 “Prompt优化”窗口中单击“确定”。
温度系数（temperature）控制生成语言模型中生成文本的随机性和创造性，调整模型的softmax输出层中预测词的概率。其值越大，则预测词的概率的方差减小，即很多词被选择的可能性增大，利于文本多样化。 多样性与一致性 多样性和一致性是评估LLM生成语言的两个重要方面。 多样性指模型生成的不同输出之间
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
