检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio大模型开发平台可以辅助用户进行提示词撰写、比较和评估等操作,并对提示词进行保存和管理。 表1 功能说明 功能 说明 提示词工程任务管理 提示词工程平台以提示词工程任务为管理维度,一个任务代表一个场景或一个调优需求,在提示词工程任务下可以进行提示词的调优、比较和评估。 提示词工程任
集”的过程,确保数据的多样性、平衡性和代表性。 通过数据加工操作,平台能够有效清理噪声数据、标准化数据格式,提升数据集的整体质量。 数据发布:平台提供了数据评估、数据发布操作,旨在通过数据质量评估确保数据满足大模型训练的多样性、平衡性和代表性需求,并促进数据的高效流通与应用,生成“发布数据集”。
5汉字。不同模型的具体情况详见表1。 表1 token比 模型规格 token比(token/英文单词) token比(token/汉字) N1系列模型 0.75 1.5 N2系列模型 0.88 1.24 N4系列模型 0.75 1.5 训练相关概念 表2 训练相关概念说明 概念名
估8条,剩余2条待评估。 图2 查看评估进展 评估完成后,可以查看每条数据的评估结果。 在评估结果中,“预期结果”表示变量值(问题)所预设的期望回答,“生成结果”表示模型回复的结果。通过比对“预期结果”、“生成结果”的差异可以判断提示词效果。 父主题: 批量评估提示词效果
过数据合成技术,可以生成大量高质量的训练数据,这些数据可以用于大模型的预训练,增强模型的泛化能力和性能。 数据标注:平台支持对无标签的数据添加标签或对现有的标签进行重新标注,以提升数据集的标注质量。用户可以针对不同的数据集灵活地选择对应的标注项,还可以自定义选择多人标注、审核以及
在左侧导航栏中选择“空间资产 > 模型”。 单击“预置”页签,在预置模型列表,单击模型,可对预置的模型资产执行以下操作: 查看模型历史版本。在“版本列表”页面,可查看模型的各个版本。 训练、压缩、部署操作。在“版本列表”页面,可对不同版本模型执行训练、压缩或部署操作。单击相应按钮,将跳转至相关操作页面。
管理NLP大模型训练任务 在训练任务列表中,任务创建者可以对任务进行编辑、克隆(复制训练任务)、重试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:
系统预置”查看指令详情,如图2,单击“调测”可查看调测指南,如图3,帮助用户更好地使用该指令。 预置的数据指令清单详见表1。 图2 指令详情 图3 调测指南 表1 预置数据指令清单 指令分类 指令名称 指令描述 生成问题 问题改写为更低难度 该指令可以通过用户输入的问题,使大模型
管理科学计算大模型训练任务 在训练任务列表中,任务创建者可以对创建好的任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,进入模型训练页面,可进行如下操作:
导入文本文档数据。支持上传txt、doc、docx、pdf、ppt、pptx格式的文本文档,要求单个文件不超过10M。 导入表格数据。支持上传xlsx、xls、csv格式的表格数据,要求单个文件不超过10M。 单击“点此上传”上传本地文件至知识库。支持单次上传文件个数不超过300个。 上传
AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 Token认证 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
可将预置模型部署为预置服务,用于后续的调用操作。 其中,NLP预置模型使用流程见图1、表1,科学计算预置模型使用流程见图2、表2。 图1 NLP预置模型使用流程图 表1 NLP预置模型使用流程表 流程 子流程 说明 操作指导 准备工作 申请试用盘古大模型服务 盘古大模型为用户提供
工智能助手,生成内容更加具体。 表1给出了提示词的优化示例以及优化前后的效果对比,我们可以看到,优化提示词有助于提高模型在特定任务上的表现。在实际应用中,需要不断尝试和调整提示词,以实现最佳效果。 更多的提示词优化技巧可以参考提示词写作实践。 表1 提示词优化示例 场景 优化前提示词
并且需要与前文要求中的key名字保持一致,否则模型会不理解是同一个key。 恰当的表述 可以尝试从英语的逻辑去设计提示词。 最好是主谓宾结构完整的句子,少用缩写和特殊句式。 应使用常见的词汇和语言表达方式,避免使用生僻单词和复杂的句式,防止机器理解偏差。 多用肯定句,少用否定句,比如“你不能A
请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于Pangu服务接口,如果调用后返回状态码为“200”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-Type”。
功能总览 功能总览 全部 数据工程工具链 模型开发工具链 应用开发工具链 能力调测 应用百宝箱 数据工程工具链 数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。
需求。例如,短视频口播场景要求文风可以引起观众兴趣、不丢失产品特点且可以引导观众购买。 微调数据清洗: 下表中列举了本场景常见的数据质量问题以及相应的清洗策略,供您参考: 表1 微调数据清洗步骤 数据问题 清洗步骤与手段 清洗前 清洗后 问题一:数据中存在超链接、异常符号等。 删除数据中的异常字符。
推理SDK概述 盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答(/chat/completions) Java、Python、Go、
选择需要调用的服务。可从“预置服务”或“我的服务”中选择。 填写系统人设。如“你是一个AI助手”,若不填写,将使用系统默认人设。 在页面右侧配置参数,具体参数说明见表1。 表1 NLP大模型能力调测参数说明 参数 说明 搜索增强 搜索增强通过结合大语言模型与传统搜索引擎技术,提升了搜索结果的相关性、准确性和智能化。
数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大,则会加剧该现象。 为什么微调后的模型,评估结果很好,但实际场景表现却很差? 当您在微调过程中,发现模型评估的结果很好,一旦将微调的模型部署以后,输入一个与目标任务同属的问题,回答的结果却不理想。这种情况可