检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图2 创建气象类数据集发布任务 当前气象类数据集仅支持发布默认格式，选择好数据集的发布格式后，单击“下一步”。 设置数据集的“资产可见性”，填写数据集名称、描述，设置扩展信息后，单击“确认发布”进行数据集发布操作。发布后的数据集支持重新发布和删除操作。
图3 数据过滤 当前视频类数据集仅支持发布默认格式，选择好数据集的发布格式后，单击“下一步”。 设置数据集的“资产可见性”，填写数据集名称、描述，设置扩展信息后，单击“确认发布”进行数据集发布操作。发布后的数据集支持重新发布和删除操作。
图2 创建预测类数据集发布任务 当前预测类数据集仅支持发布默认格式，选择好数据集的发布格式后，单击“下一步”。 设置数据集的“资产可见性”，填写数据集名称、描述，设置扩展信息后，单击“确认发布”进行数据集发布操作。发布后的数据集支持重新发布和删除操作。
创建文本类数据集评估标准 ModelArts Studio大模型开发平台针对文本数据集预设了一套基础评估标准，涵盖了数据准确性、完整性、一致性、格式规范等多个维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。
多种数据格式支持：对于文本类、图片类数据集，平台支持多种数据发布格式，包括“默认格式”、“盘古格式”和“自定义格式”，以满足不同训练任务的需求。通过这些格式的转换，用户可以确保数据与特定模型（如盘古大模型）兼容，并优化训练效果。
响应消息体 响应消息体通常以结构化格式返回，与响应消息头中Content-Type对应，传递除响应消息头之外的内容。 接口调用成功后将返回如下响应体。
…… 微调数据要求： 数据格式样例：JSONL格式，每行是一条JSON，包含“context”和“target”两个字段。
用户可以查看数据集的详细信息，包括数据格式、大小、配比比例等。同时，平台支持数据集的删除等管理操作，使用户能够统一管理数据集资源，以便在模型训练和分析时灵活调用，确保数据资产的规范性与安全性。
数据参考格式如下： 图1 数据参考格式 图2 数据示例 创建提示词评估数据集 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示用例管理”，单击页面右上角“创建提示用例集”。
例如，在文档问答任务中，任务本质不是生成，而是抽取任务，需要让模型“从文档中抽取出问题的答案，不能是主观的理解或解释，不能修改原文的任何符号、字词和格式”， 如果使用“请阅读上述文档，并生成以下问题答案”，“生成”一词不是很恰当，模型会引入一些外部知识。
撰写的提示词应该包含任务或领域的关键信息，如主题、风格、格式等。 撰写提示词时，可以设置提示词变量。即在提示词中通过添加占位符{{ }}标识表示一些动态的信息，让模型根据不同的情况生成不同的文本，增加模型的灵活性和适应性。
数据标准化：将数据转换为统一的格式或范围，特别是在处理数值型数据时（如归一化或标准化）。 去噪处理：去除无关或异常值，减少对模型训练的干扰。 数据预处理的目的是保证数据集的质量，使其能够有效地训练模型，并减少对模型性能的不利影响。
平台支持将经过加工、标注和评估的数据集以多种格式进行发布，包括默认格式、盘古格式（适用于训练盘古大模型时）。这些格式支持用户在不同的AI平台和业务场景中使用，确保数据在不同模型训练系统中的兼容性与流畅使用。目前，发布多种数据集格式的功能仅支持文本类和图片类数据集。
平台支持发布的数据集格式为默认格式、盘古格式、自定义格式，可按需进行数据集格式转换。 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要进行数据集格式转换。当前仅文本类、图片类数据集支持转换为盘古格式。 自定义格式：文本类数据集可以使用自定义脚本进行数据格式转换。
平台支持发布的数据集格式为默认格式、盘古格式，可按需进行数据集格式转换。 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要进行数据集格式转换。当前仅文本类、图片类数据集支持转换为盘古格式。
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗，平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 URI POST /v1/{project_id}/deployments
使用数据工程准备与处理数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 标注数据集 评估数据集 发布数据集 数据工程常见报错与解决方案
提示词工程类 如何利用提示词提高大模型在难度较高推理任务中的准确率 如何让大模型按指定风格或格式回复 如何分析大模型输出错误回答的根因 为什么其他大模型适用的提示词在盘古大模型上效果不佳 如何判断任务场景应通过调整提示词还是场景微调解决
请检查创建数据集时使用的数据，与平台要求的文件内容格式是否一致。 content type [%s] not support, only [%s] support. 数据集中的内容不支持，请保证上传的数据格式与平台要求的一致。
数据发布：平台支持将处理后的数据集发布为多种格式，包括默认格式和盘古格式。尤其对于文本类和图片类数据集，平台支持将其转换为专门用于训练盘古大模型的盘古格式，为后续模型训练提供高效的数据支持。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
