检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
结论”。 若希望模型输出遵循特定格式,可以在提示词中明确格式要求,或使用占位符和模板结构,让模型填充内容。例如: 请按照以下格式输出: 判断原因:xxx 最终结论:xxx 父主题: 提示词工程类
获取提示词模板 平台提供了多种任务场景的提示词模板,可以帮助用户更好地利用大模型的能力,引导模型生成更准确、更有针对性的输出,从而提高模型在特定任务上的性能。 在创建提示词工程前,可以先使用预置的提示词模板,或基于提示词模板进行改造 。如果提示词模板满足不了使用需求可再单独创建。
文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集,创建时可导入多种形式的数据,具体格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 单个文件大小不超过50GB,文件数量最多1000个。
图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集,创建时可导入多种形式的数据,具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 仅图片 tar、图片目录 图片:支持jpg、jpeg、png、bmp类型。 ta
对特定区域,旨在提供完整、一致且高精度的气象数据。 再分析数据为二进制格式,具体格式要求详见表1。 表1 气象类数据集格式要求 文件内容 文件格式 文件样例 气象-天气数据 nc、cdf、netcdf、gr、gr1、grb、grib、grb1、grib1、gr2、grb2、grib2
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外,平台还支持导入其他类数据集,即用户训练模型时使用的自定义数据集。 其他类数据集支持发布其他类数据集操作。 其他类数据集要求单个文件大小不超过50GB,单个压缩包大小不超过50GB,文件数量最多1000个。 父主题: 数据集格式要求
通过横向比较提示词效果和批量评估提示词效果,如果找到高质量的提示词,可以将这些提示词发布至“提示词模板”中。 在提示词“候选”页面,选择质量好的提示词,并单击“保存到模板库”。 图1 保存提示词至模板库 进入“Agent 开发 > 提示词工程 > 提示词模板”页面,查看发布的提示词。 父主题: 开发盘古大模型提示词工程
同,回归分类数据不要求数据具有时间顺序。 具体格式要求详见表1。 表1 预测类数据集格式要求 文件内容 文件格式 文件样例 时序 csv 数据为结构化数据,包含列和行,每一行表示一条数据,每一列表示一个特征,并且必须包含预测目标列,预测目标列要求为连续型数据。 目录下只有1个数据文件时,文件无命名要求。
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集,创建时可导入多种形式的数据,具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi 支持mp4、avi视频格式上传,所有视频可以放在多个文件夹
尝试多种提示词模板:在实际应用中,可以尝试多种提示词模板,观察哪种模板能更好地引导模型生成符合预期的输出。若实际使用场景是可以通过提示词模板实现,建议实际使用的提示词模板与训练数据中的提示词模板保持一致。例如文本分类场景训练数据中的提示词模板为“以下句子属于哪个类别:xxx”,那么实际使用时也应该为“以下句子属于哪个类别:xxx”模板来引导模型输出。
数据集格式要求 文本类数据集格式要求 图片类数据集格式要求 视频类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题: 使用数据工程构建数据集
例如,文学创作类可以使用“请创作一个关于{故事主题}的故事”,邮件写作类可以使用“根据以下信息,写一封商务电子邮件。{邮件内容描述}”,摘要任务可以使用“请根据以下内容生成摘要。\n{文本内容}”。\n为换行符。 补说明 对任务进行补充说明,如补充任务要求、规范输出的格式等。将想要的逻辑梳理表达出来,会让生
图1 算子编排 在编排过程中,可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据加工任务时,可直接单击“选择加工模板”进行使用。 若选择使用加工模板,将删除当前已编排的加工步骤。 图2 选择加工模板 加工步骤编排完成后,单击“启动加工”,将启动加工任务。
从CSV文件中读取所有文本内容,并按该文件内容类型模板KEY值生成匹配的JSON格式数据。 数据通算单元 PDF内容提取 从PDF中提取文本,转化为结构化数据,支持文本、表格、公式等内容提取。 数据通算单元、数据智算单元 JSON内容提取 提取JSON文件中的键值对信息。 数据通算单元 HTML内容提取 基于标签
图1 算子编排 在编排过程中,可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据加工任务时,可直接单击“选择加工模板”进行使用。 若选择使用加工模板,将删除当前已编排的加工步骤。 图2 选择加工模板 加工步骤编排完成后,单击“启动加工”,将启动加工任务。
图1 算子编排 在编排过程中,可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据加工任务时,可直接单击“选择加工模板”进行使用。 若选择使用加工模板,将删除当前已编排的加工步骤。 图2 选择加工模板 加工步骤编排完成后,单击“启动加工”,将启动加工任务。
图1 算子编排 在编排过程中,可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据加工任务时,可直接单击“选择加工模板”进行使用。 若选择使用加工模板,将删除当前已编排的加工步骤。 图2 选择加工模板 加工步骤编排完成后,单击“启动加工”,将启动加工任务。
据集能够被这些大模型正常训练,平台支持发布不同格式的数据集。 当前支持标准格式、盘古格式: 标准格式:数据工程功能支持的原始格式。该格式的数据集可发布到资产中,但下游模型开发不可见。 盘古格式:使用盘古大模型训练时所需要使用的数据格式,该数据集将被用于ModelArts Studio大模型开发平台的模型开发中使用。
数据发布是将数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。 图片类数据集支持发布的格式为: 标准格式:如图1,平台默认的格式。该格式的数据集可发布到资产中,但下游模型开发不可见。 图1 图片类数据集标准格式示例 盘古格式:如图2,训练盘古大模型时,需要将数据集格式发布为“盘古
101651 消息组件初始化失败。 检查消息节点配置,可能为校验报错。 101652 消息节点缺少模板信息。 配置消息节点的提示词模板。 101653 消息节点模板拼接错误。 先检查模板占位符与输入是否匹配,若仍无法解决,请联系客服解决。 101654 消息组件执行失败。 请联系客服解决。