检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启用盘古大模型搜索增强能力 大模型在训练时使用的是静态的文本数据集,这些数据集通常是包含了截止到某一时间点的所有数据。因此,对于该时间点之后的信息,大模型可能无法提供。 通过将大模型与盘古搜索结合,可以有效解决数据的时效性问题。当用户提出问题时,模型先通过搜索引擎获取最新的信息,
单击存储位置最右侧的图标,选择数据集文件所对应的obs路径,然后输入数据集名称、描述,创建数据集。 创建数据集前,请先将数据上传至OBS。 图4 创建数据集 父主题: 批量评估提示词效果
搜索RAG方案等,具有32K上下文能力。 NLP大模型训练过程中,一般使用token来描述模型可以处理的文本长度。token(令牌)是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成token,然后根据模型的概率分布进行采样或
Go等多种编程语言。它不仅能够提供完整的代码实现,还能够根据用户的需求,进行代码补全和不同编程语言之间的改写转化。 借助盘古大模型,程序员可以更加专注于创新和设计,而无需过多关注繁琐的编码工作。它不仅提升了代码的质量和稳定性,还缩短了开发周期,加速了产品的迭代和发布。
如何判断训练状态是否正常 判断训练状态是否正常,通常可以通过观察训练过程中Loss(损失函数值)的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标,正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss,并绘制成Loss曲线,来观察其变化趋势。一般
训练数据集创建流程 数据是大模型训练的基础,提供了模型学习所需的知识和信息。大模型通过对大量数据的学习,能够理解并抽象出其中的复杂模式,从而进行精准的预测和决策。在训练过程中,数据的质量和多样性至关重要。高质量的数据能够提升模型对任务的理解,而多样化的数据则帮助模型更好地应对各种
创建一个新的数据集 创建一个新的数据集,用来管理上传至平台的训练或者评测数据。 创建一个新的数据集 数据集质量检测/数据清洗 对上传的数据进行质量检测,若质量有问题可以进行数据清洗。 检测数据集质量 清洗数据集(可选) 发布数据集 对无质量问题的数据集执行发布操作。 发布数据集 创建一个训练数据集
查看训练任务详情与训练指标 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 图1 模型训练列表 不同类型的训练方法可支持查看的训练指标有所差异,训练指标和训练方法的关系如下: 表1 训练指标和训练方法对应关系
的Prompt可以保持固定。注意,这里Prompt保持固定和保证数据多样性,二者并不冲突。 当然,如果您的数据质量较差,也可以采取一些方法来提升数据质量,比如: 数据清洗:您可以通过一些简单基础的规则逻辑来过滤异常数据,比如,去空、去重、字符串过滤等。同时,您也可以采用PPL(困
任务本身属于某个领域(如金融、政务、法律、医疗、工业等),需要依赖很深的领域背景知识,那么通用模型可能无法满足这些要求,需要在该领域的数据集上进行微调,以增强模型的泛化能力。 回答的风格或格式有特殊要求:虽然通用模型学习了相当可观的基础知识,但如果目标任务要求回答必须符合特定的风
在训练样本中,或虽未出现但和训练样本差异很小的问题,回答完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合,模型没有学到任何知识。请检查训练参数中的
功能 NLP-文本补全 给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全。它可以用来做文本生成、自动写作、代码补全等任务。 NLP-多轮对话 基于对话问答功能,用户可以与模型进行自然而流畅的对话和交流。 父主题: 使用前必读
获取数据清洗模板 在清洗数据时,用户可以通过组合不同的数据清洗算子来实现数据清洗功能。平台提供了多种数据清洗模板,用户可以直接套用这些模板进行数据清洗。 数据清洗模板获取方式如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”,进入“清洗模板”页面,在该页面查看预置的数据清洗模板。
训练、优化、部署与调用等流程。pipeline编排流程可以基于python代码实现,也可以人工模拟每一步的执行情况。检索模块可以使用Elastic Search来搭建,也可以利用外部web搜索引擎。在初步验证大模型效果时,可以假设检索出的文档完全相关,将其与query及特定pro
语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据质量:请检查训练数据中是否存在包含异常字符的数据,可以通过规则进行清洗。 训练参数设置:若数据质量存在问题,且因训练参数设置的不合理而导致过拟合,该现象会更加明显。请检查训练参数中的 “训练轮
键角色。用户可以通过提示工程提高语言模型的安全性,也可以通过专业领域知识和外部工具赋能语言模型,增强其能力。 Prompt基本要素 您可以通过简单的提示词获得大量结果,但结果的质量与您提供的信息数量和完善度有关。一个提示词可以包含您传递到模型的指令或问题等信息,也可以包含其他种类
两个模型时,可以参考该指标。然而,指标没有一个明确的阈值来指示何时模型效果差。因此,单靠该指标无法直接决定任务的调整策略。 如果指标低是由于提示词(prompt)设置不合理,可以通过在模型训练阶段扩大训练集和验证集来优化模型,从而改善评估结果。另外,还可以将评估数据集设计得更接近训练集的数据,以提升评估结果的准确性。
ctId> <version>3.1.103</version> </dependency> Python 使用pip安装。 #回显Successfully installed xxx表示安装成功 # 安装核心库 pip install huaweicloudsdkcore
推理参数设置:请检查推理参数中的“话题重复度控制”或“温度”或“核采样”等参数的设置,适当增大其中一个参数的值,可以提升模型回答的多样性。 数据质量:请检查训练数据中是否存在文本重复的异常数据,可以通过规则进行清洗。 训练参数设置:若数据质量存在问题,且因训练参数设置的不合理而导致过拟合,该现象会更加明显。请检查训练参数中的
在单次训练任务中,一个有监督数据集内,上传的数据文件数量不得超过100个,单文件大小不得超过1GB,所有文件的总大小不得超过1GB。 表2 有监督微调数据大小说明 模型规格 最小数据量(数据条数) 单场景推荐训练数据量 单条数据token长度限制 训练集:验证集推荐比例 N1-4K版本 1000条/每场景