检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据量足够，为什么盘古大模型微调效果仍然不好 这种情况可能是由于以下原因导致的，建议您排查： 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差，都将影响模型训练的效果，建议提升您的数据质量。 父主题： 大模型微调训练类
导入数据过程中，为什么无法选中OBS的单个文件进行上传 当前，ModelArts Studio平台针对不同类别的数据集可使用OBS服务导入的文件形式不同： 文本、视频、预测和其他类（自定义）数据集支持文件夹或单个文件导入，导入界面提示用户：“请选择文件夹或文件”。 图1 支持导入单个文件示例
数据量和质量均满足要求，为什么盘古大模型微调效果不好 这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或
构建的优点是数据丰富度更高，缺点是成本较高。 当您将无监督数据构建为有监督数据时，请尽可能保证数据的多样性。建议将不同文本构建为不同的场景，甚至将同一段文本构建为多个不同的场景。 不同规格的模型支持的长度不同，当您将无监督数据构建为有监督数据时，请确保数据长度符合模型长度限制。 父主题：
盘古NLP大模型能力与规格 盘古NLP大模型是业界首个超千亿参数的中文预训练大模型，结合了大数据预训练和多源知识，借助持续学习不断吸收海量文本数据，持续提升模型性能。除了实现行业知识检索、文案生成、阅读理解等基础功能外，盘古NLP大模型还具备模型调用等高级特性，可在智能客服、创意
如何对盘古大模型的安全性展开评估和防护 盘古大模型的安全性主要从以下方面考虑： 数据安全和隐私保护：大模型涉及大量训练数据，这些数据是重要资产。为确保数据安全，需在数据和模型训练的全生命周期内，包括数据提取、加工、传输、训练、推理和删除的各个环节，提供防篡改、数据隐私保护、加密、
盘古大模型空间资产介绍 在ModelArts Studio大模型开发平台的空间资产中，包括数据和模型两类资产。这些资产为用户提供了集中管理和高效操作的基础，便于用户实现统一查看和操作管理。 数据资产：用户已发布的数据集将作为数据资产存放在空间资产中。用户可以查看数据集的详细信息，
平台提供了知识库功能来管理和存储数据，支持为应用提供自定义数据，并与之进行互动。 知识库支持导入以下格式的本地文档： 文本文档数据。支持上传常见文本格式，包括：txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式，便于管理和分析结构化数据，包括：xlsx、xls、csv格式。
关的原始数据，确保数据的覆盖面和多样性。例如，若是自然语言处理任务，可能需要大量的文本数据；如果是计算机视觉任务，则需要图像或视频数据。 数据预处理：数据预处理是数据准备过程中的重要环节，旨在提高数据质量和适应模型的需求。常见的数据预处理操作包括： 去除重复数据：确保数据集中每条数据的唯一性。
变更计费模式 盘古大模型的模型订阅、数据托管单元、推理单元默认采用包周期计费，训练单元、数据智算单元、数据通算单元采用包周期和按需计费两种方式。 盘古大模型使用周期内不支持变更配置。
特定领域的数据时表现得更好，而另一些模型则可能在更广泛的任务上更为出色。 根据盘古大模型特点调整提示词。 直接使用在其他大模型上有效的提示词，可能无法在盘古大模型上获得相同的效果。为了充分发挥盘古大模型的潜力，建议根据盘古大模型的特点，单独调整提示词。直接使用在其他大模型上有效的
CV大模型、预测大模型、科学计算大模型和专业大模型。 数据资源：数据通算单元适用于数据加工，用于正则类算子加工、数据智算单元适用于数据加工，用于AI类算子加工，数据托管单元适用于数据工程，用于存储数据集。 训练资源：训练单元可用于所有大模型的模型训练、模型压缩功能。 推理资源：推
同一资源是否同时支持包年/包月和按需计费两种模式 盘古大模型的模型订阅、数据托管单元、推理单元默认采用包周期计费， 训练单元、数据智算单元、数据通算单元采用包周期和按需计费两种方式。 两种计费方式不能共存，只支持按照一种计费方式进行订购。 父主题： 计费FAQ
为什么微调后的盘古大模型的回答中会出现乱码 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。
效果情况来进行几轮的模型微调优化迭代。 在大模型的微调效果调优过程中，训练数据优化、训练超参数优化、提示词优化以及推理参数优化是最重要的几个步骤。 训练数据的优化是提升模型效果的基础。通过数据加工、去噪以及数据增强等手段，可以提高训练数据的质量和多样性，从而增强模型针对于训练场景的效果和模型的泛化能力。
计费项 盘古大模型分为模型订阅、数据资源、训练资源和推理资源四个收费项。 模型订阅按照订阅时长预付费，提供1个月到1年供客户选择，自支付完成开始计费。 数据智算单元、数据通算单元支持两种计费方式，包周期订购按使用数量和时长预付费，提供1个月到1年供客户选择，按需订购按单元使用数量
产品优势 预置多，数据工程“易” ModelArts Studio大模型开发平台预置多种数据处理AI算子，多种标注工具，满足用户多任务多场景需求，提高开发/标注效率>10X。 0代码，模型开发“简” ModelArts Studio大模型开发平台预置盘古系列预训练大模型，支持快速开
"是的，我试了 还是不行"} 数据质量：若数据格式没有问题，仍然发现模型效果不好，您可以根据具体问题针对性的提升您的数据质量。比如，随着对话轮数的增加，模型出现了遗忘，可以检查构造的训练数据中轮数是否普遍较少，建议根据实际情况增加数据中的对话轮数。 父主题： 大模型微调训练类
需要更多的训练轮数。 数据量级：如果微调数据很多，从客观上来说越多的数据越能接近真实分布，那么可以使用较大的学习率和较大的批量大小，以提高训练效率。如果微调数据量相对较少，则可以使用较小的学习率和较小的数据批量大小，避免过拟合。 通用模型的规格：如果模型参数规模较小，那么可能需要
如何判断任务场景应通过调整提示词还是场景微调解决 在选择是否通过调整提示词或场景微调来解决任务时，需要从以下两个主要方面进行考虑： 业务数据的可获取性 考虑该任务场景的业务数据是否公开可获取。如果该场景的相关数据可以公开获取，说明模型在训练阶段可能已经接触过类似的语料，因此具有一定的理解能力。这时，通过调整提示词通常可以有效引导模型生成合理的回答。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
