检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
flickr_url 否 图像在Flickr网站上的URL。 id 是 图像的唯一标识符。 annotations 是 标注信息。 num_keypoints 是 标注的关键点数量。 area 是 边界框的面积，以像素平方为单位。
合成文本类数据集 当前，数据合成功能支持合成单轮问答、单轮问答（人设）类型的数据。 创建文本类数据集合成任务 合成文本类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。
单轮问答（人设） jsonl、csv jsonl格式：system表示人设，context、target分别表示问题、答案。 {"system":"你是一个机智幽默问答助手","context":"你好，请介绍自己","target":"哈哈，你好呀，我是你的聪明助手。"}
使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，数据集文件内容包括：预训练文本、单轮问答、多轮问答、带人设单轮问答、带人设多轮问答等，不同训练方式所需要使用的数据见表1，该数据集格式要求请参见文本类数据集格式要求。
如图1，以标注单轮问答数据为例，需要逐一确认问题（Q）及答案（A）是否正确，如果问题或答案不正确，可以对其进行二次编辑。 图1 文本类数据集标注示例 一条数据标注完成后，单击“提交”可继续标注剩余数据。所有数据标注完成后，页面会出现标注任务成功的提示。
智能文档解析 从PDF（支持扫描版）或图片中提取文本，转化为结构化数据，持文本、表格、表单、公式等内容提取。
单样本/多样本 可以在提示词中提供示例，让模型先学习后回答，在使用这种方法时需要约束新样例不能照抄前面给的参考样例，新样例必须多样化、不能重复等，否则可能会直接嫁接前文样例的内容，也可以约束只是让它学习参考样例的xxx生成思路、xxx风格、xxx生成方法等。
query改写模块 来源：互联网开源数据集 问答模块 来源一：互联网开源数据集，如政府网站网页、政府在线问答公开数据、政务百科等。 来源二：特定的私域数据，针对于具体场景和项目需求，收集相关的文本数据。比如通过与当地政府的政数局进行合作，获取政府部门提供的内部脱敏数据等。
请求示例 单轮问答 POST https://{endpoint}/v1/{project_id}/deployments/{deployment_id}/chat/completions Request Header: Content-Type: application/
图1 申请试用 填写姓名、联系电话等用户信息，单击“提交申请”进行表单预约。 父主题： 准备工作
数据单条文本长度不超过1000。 创建数据集时会对相关限制条件进行校验。 数据参考格式如下： 图1 数据参考格式 图2 数据示例 创建提示词评估数据集 登录ModelArts Studio大模型开发平台，进入所需空间。
支持单次上传文件个数不超过300个。 上传完成后，单击“确定”，完成知识库的创建。 知识库创建完成后，如果想在当前知识库中继续上传文件，可单击该知识库进入详情页面，再单击右上角“继续上传”，上传本地文件。
发布预测类数据集 预测类数据集当前仅支持发布为“默认格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”，单击界面右上角“创建流通任务”。 在“创建流通任务”页面
表1 评测数据集格式 模型类型 评测数据集格式 NLP大模型 文本-单轮问答-jsonl格式 上传数据文件后，填写“数据集名称”与“描述”，单击“立即创建”。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”，单击界面右上角“创建流通任务”。
单次最多可评测10个模型。 已部署服务：选择部署至ModelArts Studio平台的模型进行评测。 外部服务：通过API的方式接入外部模型进行评测。选择外部服务时，需要填写外部模型的接口名称、接口地址、请求体、响应体等信息。 请求体支持openai、tgi、自定义三种格式。
数据合成：平台支持利用预置或自定义的数据指令对预训练文本、单轮问答、单轮问答（人设））数据集类型进行处理，并根据设定的轮数生成新数据。通过数据合成技术，可以生成大量高质量的训练数据，这些数据可以用于大模型的预训练，增强模型的泛化能力和性能。
预测目标列 指定预测目标变量的列名，仅支持单目标变量预测。格式为["列名"]，默认设置为[]，表示选择最后一列作为预测目标变量。 训练集&验证集比例 将数据集划分为训练集和验证集。填写验证集的比例（默认为 0.2，即训练集占0.8，验证集占0.2）。
表1 平台支持的数据类型 数据类型 数据内容 支持的文件格式 文本类 文档 txt、mobi、epub、docx、pdf 网页 html 预训练文本 jsonl 单轮问答 jsonl、csv 单轮问答（人设） jsonl、csv 多轮问答 jsonl 多轮问答（人设） jsonl
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
