检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据安全和隐私保护：大模型涉及大量训练数据，这些数据是重要资产。为确保数据安全，需在数据和模型训练的全生命周期内，包括数据提取、加工、传输、训练、推理和删除的各个环节，提供防篡改、数据隐私保护、加密、审计和数据主权保护等机制。在训练和推理过程中，通过数据脱敏、隐私计算等技术手段识别并保护敏感数据，有效防止隐私泄露，保障个人隐私数据安全。
评估图片类数据集 创建图片类数据集评估标准 ModelArts Studio大模型开发平台针对图片类数据集预设了一套基础评估标准，涵盖了图像清晰度、分辨率、标签准确性、图像一致性等多个质量维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建图片类数据集评估任务。
盘古CV大模型能力与规格 盘古CV大模型基于海量图像、视频数据和盘古独特技术构筑的视觉基础模型，赋能行业客户利用少量场景数据对模型微调即可实现特定场景任务。 ModelArts Studio大模型开发平台为用户提供了多种规格的CV大模型，以满足不同场景和需求。以下是当前支持的模型
如何判断盘古大模型训练状态是否正常 判断训练状态是否正常，通常可以通过观察训练过程中Loss（损失函数值）的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标，正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线，来观察其变化
-N-2.1.0 该模型属于物体检测模型，旨在识别图像中的所有感兴趣目标，定位其位置并确定其类别。适用于各种任务，如：积水检测、占道经营检测、人员离岗检测、动植物检测、工业缺陷检测等。 2024年12月发布的版本，支持全量微调、在线推理。 物体检测-N模型为中参数量模型，在保证计
19_114745.xml”。 物体检测的标注文件需要满足PASCAL VOC格式，PASCAL_VOC是一个公开的图像标注数据集，它提供了一个统一的XML格式来存储标注信息。PASCAL_VOC文件格式包含图像目录、图像文件、图像尺寸、图像中目标信息等元素，详细格式说明请参见表2。
致不稳定的学习过程。 锚框的长边和短边的比例 定义检测物体锚框的长宽比。通过设置不同的长短比例，模型可以更好地适应多种尺寸和形状的物体。 锚框大小 指锚框的初始尺寸。锚框是物体检测中的一个关键概念，通过合理设置，可以帮助模型检测出多种尺寸的目标。 框重叠比例阈值 用于判定模型预测
集格式要求、其他类数据集格式要求。 表1 训练CV大模型数据集类型要求 基模型 训练场景 文件内容 文件格式 盘古-CV-物体检测-N 微调 图片+检测标注 图片+xml 训练CV大模型所需数据量 初期启动训练时，每种模型类别先提供1000张已标注的图片数据进行训练，后续根据验证结果再动态提供数据迭代。
大模型开发基本流程介绍 大模型（Large Models）通常指的是具有海量参数和复杂结构的深度学习模型，广泛应用于自然语言处理（NLP）等领域。开发一个大模型的流程可以分为以下几个主要步骤： 数据集准备：大模型的性能往往依赖于大量的训练数据。因此，数据集准备是模型开发的第一步。
精准率 精准率是指在模型预测为正类的样本中，真正类样本的比例。数值越高，表明模型在检测正类样本时的准确性越高。 召回率 召回率是指在所有实际为正类的样本中，被模型正确预测为正类的比例。数值越高，表明模型在检测正类样本时的全面性越高。 获取训练日志 单击训练任务名称，可以在“日志”页面查看训练过程中产生的日志。
训练数据中推导出预测函数。有标记的训练数据是指每个训练实例都包括输入和期望的输出。 LoRA 局部微调（LoRA）是一种优化技术，用于在深度学习模型的微调过程中，只对模型的一部分参数进行更新，而不是对所有参数进行更新。这种方法可以显著减少微调所需的计算资源和时间，同时保持或接近模型的最佳性能。
精准率 精准率是指在模型预测为正类的样本中，真正类样本的比例。数值越高，表明模型在检测正类样本时的准确性越高。 召回率 召回率是指在所有实际为正类的样本中，被模型正确预测为正类的比例。数值越高，表明模型在检测正类样本时的全面性越高。 获取训练日志 单击训练任务名称，可以在“日志”页面查看训练过程中产生的日志。
有图片需保存为tar包。 QA对格式支持：jsonl 物体检测 图片格式支持：jpg、jpeg、png、bmp 标注格式支持：xml 图像分类 图片格式支持：jpg、jpeg、png、bmp 标注格式支持：txt 异常检测 图片格式支持：jpg、jpeg、png、bmp 标注格式支持：txt
Pangu-Predict-Table-Anom-2.0.0 该模型属于异常检测模型，用于识别数据集中的异常或离群点，常应用于安全、质量控制等领域。 矿山行业：进行设备故障检测，例如监控设备运行数据，识别异常行为，防止设备故障。 电力行业：进行电网异常检测，例如监控电网运行状态，识别异常情况，防止电网故障。
图片类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子，算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类
科学计算大模型训练流程与选择建议 科学计算大模型训练流程介绍 科学计算大模型的训练主要分为两个阶段：预训练与微调。 预训练阶段：预训练是模型学习基础知识的过程，基于大规模通用数据集进行。例如，在区域海洋要素预测中，可以重新定义深海变量、海表变量，调整深度层、时间分辨率、水平分辨率
ss=高空Loss+surface_loss_weight*表面Loss。取值范围：(0.05, 10)。 模型结构参数 深度 用于定义深度学习网络的层数。数值越大，模型复杂性越高。模型参数量会增加。然而，这也会导致模型的结果文件变大，可能会占用大量的显存。在设置深度时，需要权衡
是文本分类、情感分析、机器翻译，还是问答系统，模型都能以高准确率完成任务，为用户提供高质量的输出结果。 这种卓越的表现源于其先进的算法和深度学习架构。盘古大模型能够深入理解语言的内在逻辑与语义关系，因此在处理复杂语言任务时展现出更高的精准度和效率。这不仅提高了任务的成功率，也大幅
自定义正则过滤 删除符合自定义正则表达式的数据。 自定义关键词过滤 剔除包含关键词的数据。 敏感词过滤 对文本中涉及黄色、暴力、政治等敏感数据进行自动检测和过滤。 文本长度过滤 按照设置的文本长度，保留长度范围内的数据进行。 冗余信息过滤 按照段落粒度，删除文本中的冗余信息，不改变数据条目。
索的知识型Agent，如搜索问答助手、代码生成助手等，执行主体在大模型；另一种是针对复杂工作流场景的流程型Agent，如金融分析助手、网络检测助手等。 知识型Agent：以大模型为任务执行核心，用户通过配置Prompt、知识库等信息，实现工具自主规划与调用，优点是可零码开发，对话
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
