检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从基模型训练出行业大模型 打造短视频营销文案创作助手 打造政务智能问答助手 基于NL2JSON助力金融精细化运营
为什么其他大模型适用的提示词在盘古大模型上效果不佳 提示词与训练数据的相似度关系。 提示词的效果通常与训练数据的相似度密切相关。当提示词的内容与模型在训练过程中接触过的样本数据相似时，模型更容易理解提示词并生成相关的输出。这是因为模型通过学习大量的训练数据，逐渐建立起对特定模式、结构和语言的理解
导入数据至盘古平台 数据集是一组用于处理和分析的相关数据样本。 用户将存储在OBS服务中的数据导入至ModelArts Studio大模型开发平台后，将生成“原始数据集”被平台统一管理，用于后续加工或发布操作。 创建导入任务 创建导入任务前，请先按照数据集格式要求提前准备数据。
数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单 算子分类 算子名称 算子描述 科学计算
Agent开发平台介绍 Agent开发平台简介 Agent开发平台是基于NLP大模型，致力打造智能时代集开发、调测和运行为一体的AI应用平台。无论开发者是否拥有大模型应用的编程经验，都可以通过Agent平台快速创建各种类型的智能体。Agent开发平台旨在帮助开发者高效低成本的构建
低质量的数据。 训练模型 自监督训练： 不涉及 有监督微调： 该场景采用下表中的微调参数进行微调，您可以在平台中参考如下参数进行训练： 表2 问答模型的微调核心参数设置 训练参数 设置值 数据批量大小（batch_size） 4 训练轮数（epoch） 3 学习率（learning_rate）
导入数据至盘古平台 加工文本类数据集 对文本类数据集进行加工，包括清洗、合成、标注操作。 加工文本类数据集 发布文本类数据集 对文本类数据集进行发布，包括评估、配比、流通操作。 发布文本类数据集 开发盘古NLP大模型 训练NLP大模型 进行模型的训练，如预训练、微调训练方式。 训练NLP大模型
判断数据中的JSON参数是否与Query中的参数对应上。 训练模型 自监督训练： 不涉及 有监督微调： 该场景采用了下表中的微调参数进行微调，您可以在平台中参考如下参数进行训练： 表1 微调核心参数设置 训练参数 设置值 数据批量大小（batch_size） 8 训练轮数（epoch） 6 学习率（learning_rate）
数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持文本类数据集的清洗操作，分为数据提取、数据转换、数据过滤三类，文本类加工算子能力清单见表1。 表1 文本类清洗算子能力清单
数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持视频类数据集的清洗操作，分为数据提取、数据过滤、数据打标三类，视频类加工算子能力清单见表1。 表1 视频类清洗算子能力清单
因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。 训练参数设置：若数据质量存在问题，且因训练参数设置的不合理而导致过拟合，该现象会更加明显。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当降低这些参数的值，降低过拟合的风险。
集”的过程，用于后续模型训练等操作。 单个图片类数据集支持发布的格式为： 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。 创建文本类数据集流通任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
可以提升模型回答的多样性。 数据质量：请检查训练数据中是否存在文本重复的异常数据，可以通过规则进行清洗。 训练参数设置：若数据质量存在问题，且因训练参数设置的不合理而导致过拟合，该现象会更加明显。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当降低这些参数的值，降低过拟合的风险。
这种情况可能是由于以下原因导致的，建议您排查： 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差，都将影响模型训练的效果，建议提升您的数据质量。 父主题： 大模型微调训练类问题
推理参数（解码参数）是一组用于控制模型生成预测结果的参数，其可以用于控制模型生成结果的样式，如长度、随机性、创造性、多样性、准确性和丰富度等等。 当前，平台支持的推理参数包括：温度、核采样以及话题重复度控制，如下提供了这些推理参数的建议值和说明，供您参考： 表1 推理参数的建议和说明 推理参数
盘古大模型整合华为云强大的计算和数据资源，将先进的AI算法集成在预训练大模型中，打造出具有深度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 盘古大模型在ModelArts Studio大模型开发平台部署后，可以通过API调用推理接口。 表1 API清单 API
管理盘古模型资产 模型资产介绍 用户在平台中可试用、已订购或训练后发布的模型，将被视为模型资产并存储在空间资产内，方便统一管理与操作。用户可以查看模型的所有历史版本及操作记录，从而追踪模型的演变过程。同时，平台支持一系列便捷操作，包括模型训练、压缩和部署，帮助用户简化模型开发及应
2024年11月发布的版本，仅支持模型增量预训练。32个训练单元起训，预训练后的模型版本需要通过微调之后，才可支持推理部署。 Pangu-NLP-N2-Chat-32K-20241030 32K 4K 2024年10月发布版本，支持8K序列长度训练，4K/32K序列长度推理。全量微调32个训练单元起训，LoR
包年/包月方式购买的资源到期后，请在平台订购管理页面进行续订操作。具体步骤如下： 登录ModelArts Studio大模型开发平台，单击页面右上角“订购管理”。 在“订购管理”页面，单击“资源订购”页签。 在“资源订购”页签可进行数据资源、训练资源、推理资源的续费操作。 父主题：
根据具体问题针对性的提升您的数据质量。比如，随着对话轮数的增加，模型出现了遗忘，可以检查构造的训练数据中轮数是否普遍较少，建议根据实际情况增加数据中的对话轮数。 父主题： 大模型微调训练类问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
