检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场景是否一致，质量较差的测试集无法反映模型的真实结果。 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大，
训练效果，确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估：使用平台的“模型评估”功能，“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标，进行横向（相同训练数据+不同规格的通用模型）或纵向（不同训练数据训练的多个模型版本）对比来判断训练过程是否出现了问题。
目录下只有1个数据文件时，文件无命名要求。 目录下有多个数据文件时，需要通过命名的方式指定数据是训练数据集、验证数据集还是测试数据集。训练数据名称需包含train字样，如train01.csv；验证数据名称需包含eval字样；测试数据名称需包含test字样。文件的命名不能同时包含train、eval和test中的两个或三个。
多场景测试：对多种不同场景下的prompt进行测试，确保在各种情境下系统能够有效响应： 不同语言对的翻译：如图3，针对不同的语言对（如中文到法语、俄语到西班牙语），评估翻译效果是否稳定。 图3 多场景测试-不同语言对 复杂对话场景：如图4，当用户在对话中频繁切换意图时，测试意图识
管理知识库 Agent开发平台支持对知识库执行获取知识库ID、删除、命中测试操作。 新增、删除知识库中知识文档 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“Agent开发”，跳转至Agent开发平台。 进入“工作台
概述 盘古大模型整合华为云强大的计算和数据资源，将先进的AI算法集成在预训练大模型中，打造出具有深度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 盘古大模型在ModelArts Studio大模型开发平台部署后，可以通过API调用推理接口。 表1 API清单
需要保障在图片中人眼能清晰辨别目标。 图片分辨率大于640x640 px，关于拍摄角度、距离、分辨率等画面拍摄条件，需要保证训练集图片和测试部署时的图片保持一致。 构建CV大模型数据集流程 在ModelArts Studio大模型开发平台中，使用数据工程构建盘古CV大模型数据集流程见表2。
据比例调整和格式转换，确保数据集符合模型训练要求。通过平台提供的数据发布功能，用户能够根据具体任务需求，灵活选择数据发布格式，保证数据的兼容性与一致性，从而为后续模型训练和应用部署打下坚实基础。 支持数据发布的数据集类型 支持数据发布的数据集类型见表1。 表1 支持数据发布的数据集类型
预训练阶段：预训练是模型学习基础知识的过程，基于大规模通用数据集进行。例如，在区域海洋要素预测中，可以重新定义深海变量、海表变量，调整深度层、时间分辨率、水平分辨率以及区域范围，以适配自定义区域的模型场景。此阶段需预先准备区域的高精度数据。 微调阶段：在预训练模型的基础上，微
上角“继续上传”，上传本地文件。 知识库命中测试 平台支持对创建的知识库进行命中测试，以评估知识库的效果和准确性。 命中测试通过将用户的查询与知识库中的内容进行匹配，最终输出与查询相关的信息，并根据匹配的程度进行排序。 知识库命中测试步骤如下： 登录ModelArts Studi
数据源样本为avi、mp4格式，标注文件为json格式。必须包含两个及以上后缀名字为avi或者mp4的文件。 每个视频时长要大于128s，FPS>=10，且测试集训练集都要有视频。文件总大小不超过100GB。 支持视频的格式包括常见的mp4/avi格式文件，每个视频时长要大于128s，FPS>=10，用annotation
新导致不稳定的学习过程。 热身阶段学习率 热身轮次中使用的初始学习率。 优化器 优化器参数用于更新模型的权重。 sgd（随机梯度下降法）是深度学习中常用的优化算法之一，尤其适用于大规模数据集的训练。 权重衰减 用于防止模型过拟合。在更新模型权重时，它会对模型参数施加惩罚，使得权重值趋于较小，从而提高模型的泛化性能。
的训练数据中推导出预测函数。有标记的训练数据是指每个训练实例都包括输入和期望的输出。 LoRA 局部微调（LoRA）是一种优化技术，用于在深度学习模型的微调过程中，只对模型的一部分参数进行更新，而不是对所有参数进行更新。这种方法可以显著减少微调所需的计算资源和时间，同时保持或接近模型的最佳性能。
因素。还有其他一些参数，如top_p参数也可以用来调整语言模型的行为和偏好，但不建议同时更改这两个参数。 最小值：0 最大值：1 缺省值：0 top_p 否 Float 一种替代温度采样的方法，称为nucleus sampling，其中模型考虑具有top_p概率质量的标记的结果。取值范围：[0
大模型开发基本流程介绍 大模型（Large Models）通常指的是具有海量参数和复杂结构的深度学习模型，广泛应用于自然语言处理（NLP）等领域。开发一个大模型的流程可以分为以下几个主要步骤： 数据集准备：大模型的性能往往依赖于大量的训练数据。因此，数据集准备是模型开发的第一步。
数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持视频类数据集的清洗操作，分为数据提取、数据过滤、数据打标三类，视频类加工算子能力清单见表1。 表1
气象类清洗算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单 算子分类 算子名称
图片类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子，算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类 算子名称 算子描述
文本类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持文本类数据集的清洗操作，分为数据提取、数据转换、数据过滤三类，文本类加工算子能力清单见表1。 表1
登录环境B的ModelArts Studio大模型开发平台，在“空间资产 > 模型”页面，单击右上角的“导入模型”。 在“导入模型”页面，下载用户证书。 图1 下载用户证书 登录环境A的ModelArts Studio大模型开发平台，在“空间资产 > 模型 > 本空间”页面，单击支持导出的模型名称，右上角的“导出模型”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
