检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用百宝箱 数据工程工具链 数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力
评估数据集（可选） 创建数据集评估标准 创建数据集评估标准。可以评估文本通顺性、图文内容一致性、视频清晰度等。 创建数据集评估任务 创建数据集质量评估任务，并基于评估标注对数据逐一评估其质量，评估后的数据可以用于模型训练。 获取数据集评估报告 查看数据集评估任务的进展和数据集质量。 发布数据集 创建数据集发布任务
评估数据集（可选） 创建数据集评估标准 创建数据集评估标准。评估文本通顺性、信息充分性、内容有效性等。 创建数据集评估任务 创建数据集质量评估任务，并基于评估标注对数据逐一评估其质量，评估后的数据可以用于模型训练。 获取数据集评估报告 查看数据集评估任务的进展和数据集质量。 发布数据集 创建数据集发布任务
回答问题，可以将文本内容用引号分隔，让模型了解到引号内非指令，而是提供的参考文本。 排顺序 在提示词中内容的顺序也很重要，基于盘古大模型调优经验，将关键信息放在结尾处，模型输出效果更好。不同任务的关键信息不同，若需要模型生成的内容更具创意性，关键信息需要为内容描述；需要模型严格遵
Studio大模型开发平台部署后，可以通过API调用推理接口。 盘古仅提供技术能力，不对最终生成的内容负责，建议用户在使用服务的过程中，对模型生成的内容进行适当的审核和过滤，以保证内容的安全性。 父主题： 使用前必读
的准确性。大规模预训练模型则是指模型参数达到千亿、万亿级别的预训练模型。此类大模型因具备更强的泛化能力，能够沉淀行业经验，并更高效、准确地获取信息。 大模型的计量单位token指的是什么 令牌（Token）是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的
失，文章如下：xxx。请结合文章内容，将缺失的信息补充完整。”，再将回答设置为符合要求的信息。 使用规则构建的优点是快速且成本低，缺点是数据多样性较低。 基于大模型的数据泛化：您可以通过调用大模型（比如盘古提供的任意一个规格的基础功能模型）来获取有监督场景。一个比较常见的方法是，
提供有效的监督信号。标注数据的质量直接影响模型的训练效果和精度，因此高效、准确的标注过程至关重要。数据标注不仅仅是人工输入，它还涉及对数据内容的理解和分类，以确保标签精准地反映数据的特征和用途。 为了帮助用户高效、准确地完成数据标注任务，ModelArts Studio大模型开发
Studio大模型开发平台，进入所需空间。 获取调用路径及部署ID。单击左侧“模型开发 > 模型部署”，选择所需调用的NLP大模型，单击“调用路径”，在“调用路径”弹窗获取调用路径及部署ID。 图1 获取调用路径和部署ID 获取项目ID。在页面右上角“我的凭证”，在“API凭证”页面可获取项目ID。 图2 获取项目ID
集构建的最终环节。 数据发布过程不仅包括将数据转化为适合使用的格式，还要求根据任务需求对数据集的比例进行科学调整，确保数据集在规模、质量和内容上满足模型训练的标准。 通过灵活调整数据集的比例配比，用户能够保证数据的均衡性，避免因数据分布不均可能引发的问题，从而构建高质量、适应性强
可以在提示词中提供示例，让模型先学习后回答，在使用这种方法时需要约束新样例不能照抄前面给的参考样例，新样例必须多样化、不能重复等，否则可能会直接嫁接前文样例的内容，也可以约束只是让它学习参考样例的xxx生成思路、xxx风格、xxx生成方法等。 零样本 对于无样本的任务，可以采用让模型分步思考的方法来
批量评估提示词效果前，需要先上传提示词变量数据文件用于创建对应的评估数据集。 提示词变量是一种可以在文本生成中动态替换的占位符，用于根据不同的场景或用户输入生成不同的内容。其中，变量名称可以是任意的文字，用于描述变量的含义或作用。 提示词评估数据集约束限制 上传文件限xlsx格式。 数据行数不小于10行，不大于50行。
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述
附录 状态码 错误码 获取项目ID 获取模型调用API地址
若发现生成的文本过于发散，可以降低“话题重复度控制”的值，保证内容统一；反之若发现内容过于单一，甚至出现了复读机式的重复内容生成，则需要增加“话题重复度控制”的值。 知识问答：对于文本生成场景（开放问答、基于搜索内容回答等），从客观上来说，回答需要是确定且唯一的，建议降低“温度”
评估图片类数据集 创建图片类数据集评估标准 创建图片类数据集评估任务 获取图片类数据集评估报告 父主题： 评估数据集
开发盘古大模型提示词工程 什么是提示词工程 获取提示词模板 撰写提示词 横向比较提示词效果 批量评估提示词效果 发布提示词
评估视频类数据集 创建视频类数据集评估标准 创建视频类数据集评估任务 获取视频类数据集评估报告 父主题： 评估数据集
评估文本类数据集 创建文本类数据集评估标准 创建文本类数据集评估任务 获取文本类数据集评估报告 父主题： 评估数据集
jsonl格式：数组格式，至少由一组问答对构成。形式为[{"context":"context内容1","target":"target内容1"},{"context":"context内容2","target":"target内容2"}]，其中context、target分别表示问题、答案，具体格式示例如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
