基础知识-华为云

AI开发平台ModelArts-AI开发基本概念:聚类

聚类聚类是把一组数据按照相似性和差异性分为几个类别，其目的是使得属于同一类别的数据间的相似性尽可能大，不同类别中的数据间的相似性尽可能小。它可以应用到客户群体的分类、客户背景分析、客户购买趋势预测、市场的细分等。与分类不同，聚类分析数据对象，而不考虑已知的类标号（一般训练数据中不提供类标号）。聚类可以产生这种标号。对象根据最大化类内的相似性、最小化类间的相似性的原则进行聚类或分组。对象的聚类是这样形成的，使得在一个聚类中的对象具有很高的相似性，而与其他聚类中的对象很不相似。

AI开发平台ModelArts AI开发基础知识

盘古大模型 PanguLargeModels-大模型开发基本概念:训练相关概念

训练相关概念表2 训练相关概念说明概念名说明自监督学习自监督学习（Self-Supervised Learning，简称SSL）是一种机器学习方法，它从未标记的数据中提取监督信号，属于无监督学习的一个子集。该方法通过创建“预设任务”让模型从数据中学习，从而生成有用的表示，可用于后续任务。它无需额外的人工标签数据，因为监督信号直接从数据本身派生。有监督学习有监督学习是机器学习任务的一种。它从有标记的训练数据中推导出预测函数。有标记的训练数据是指每个训练实例都包括输入和期望的输出。 LoRA 局部微调（LoRA）是一种优化技术，用于在深度学习模型的微调过程中，只对模型的一部分参数进行更新，而不是对所有参数进行更新。这种方法可以显著减少微调所需的计算资源和时间，同时保持或接近模型的最佳性能。过拟合过拟合是指为了得到一致假设而使假设变得过度严格，会导致模型产生“以偏概全”的现象，导致模型泛化效果变差。欠拟合欠拟合是指模型拟合程度不高，数据距离拟合曲线较远，或指模型没有很好地捕捉到数据特征，不能够很好地拟合数据。损失函数损失函数（Loss Function）是用来度量模型的预测值f(x)与真实值Y的差异程度的运算函数。它是一个非负实值函数，通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。

盘古大模型 PanguLargeModels 基础知识

盘古大模型 PanguLargeModels-大模型开发基本概念:大模型相关概念

大模型相关概念概念名说明大模型是什么大模型是大规模预训练模型的简称，也称预训练模型或基础模型。所谓预训练模型，是指在一个原始任务上预先训练出一个初始模型，然后在下游任务中对该模型进行精调，以提高下游任务的准确性。大规模预训练模型则是指模型参数达到千亿、万亿级别的预训练模型。此类大模型因具备更强的泛化能力，能够沉淀行业经验，并更高效、准确地获取信息。大模型的计量单位token指的是什么令牌（Token）是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成token，然后根据模型的概率分布进行采样或计算。例如，在英文中，有些组合单词会根据语义拆分，如overweight会被设计为2个token：“over”、“weight”。在中文中，有些汉字会根据语义被整合，如“等于”、“王者荣耀”。在盘古大模型中，以N1系列模型为例，盘古1token≈0.75个英文单词，1token≈1.5汉字。不同模型的具体情况详见表1。表1 token比模型规格 token比（token/英文单词） token比（token/汉字） N1系列模型 0.75 1.5 N2系列模型 0.88 1.24 N4系列模型 0.75 1.5

盘古大模型 PanguLargeModels 基础知识

盘古大模型 PanguLargeModels-大模型开发基本概念:推理相关概念

推理相关概念表3 训练相关概念说明概念名说明温度系数温度系数（temperature）控制生成语言模型中生成文本的随机性和创造性，调整模型的softmax输出层中预测词的概率。其值越大，则预测词的概率的方差减小，即很多词被选择的可能性增大，利于文本多样化。多样性与一致性多样性和一致性是评估LLM生成语言的两个重要方面。多样性指模型生成的不同输出之间的差异。一致性指相同输入对应的不同输出之间的一致性。重复惩罚重复惩罚（repetition_penalty）是在模型训练或生成过程中加入的惩罚项，旨在减少重复生成的可能性。通过在计算损失函数（用于优化模型的指标）时增加对重复输出的惩罚来实现的。如果模型生成了重复的文本，它的损失会增加，从而鼓励模型寻找更多样化的输出。

盘古大模型 PanguLargeModels 基础知识

盘古大模型 PanguLargeModels-大模型开发基本概念:提示词工程相关概念

提示词工程相关概念表4 提示词工程相关概念说明概念名说明提示词提示词（Prompt）是一种用于与AI人工智能模型交互的语言，用于指示模型生成所需的内容。思维链思维链（Chain-of-Thought）是一种模拟人类解决问题的方法，通过一系列自然语言形式的推理过程，从输入问题开始，逐步推导至最终输出结论。 Self-instruct Self-instruct是一种将预训练语言模型与指令对齐的方法，允许模型自主生成数据，而不需要大量的人工标注。

盘古大模型 PanguLargeModels 基础知识

云服务器内容精选

基础知识

7*24

备案

专业服务

退订

建议反馈

售前咨询热线