检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务需求收集相关的原始数据,确保数据的覆盖面和多样性。例如,若是自然语言处理任务,可能需要大量的文本数据;如果是计算机视觉任务,则需要图像或视频数据。 数据预处理:数据预处理是数据准备过程中的重要环节,旨在提高数据质量和适应模型的需求。常见的数据预处理操作包括: 去除重复数据:确保数据集中每条数据的唯一性。
效果,并科学调整数据比例,确保数据集在规模、质量和内容上符合模型训练的标准。 数据评估 平台预置了多种数据类型的基础评估标准,包括NLP、视频和图片数据,用户可根据需求选择预置标准或自定义评估标准,从而精确优化数据质量,确保数据满足高标准,提升模型性能。 数据配比 数据配比是将多
导入数据至盘古平台 加工图片、视频类数据集 对图片、视频类数据集进行加工,包括清洗、标注操作。 加工图片类数据集、加工视频类数据集 发布图片、视频类数据集 对图片、视频类数据集进行发布,包括评估、配比、流通操作。 发布图片类数据集、发布视频类数据集 开发盘古CV大模型 训练CV大模型
构造请求 本节介绍REST API请求的组成,并以调用服务的获取用户Token接口说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987 。 请求示例如图1,一个请求主要由请求U
用于海洋基础要素预测 2024年11月发布的版本,支持在线推理、能力调测特性,可支持1个实例部署推理。 Pangu-AI4S-Ocean_Regional_24h-20241130 用于区域海洋基础要素预测 2024年11月发布的版本,支持预训练、微调、在线推理、能力调测特性,1个训练单元起训及1个实例部署。
在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古专业大模型支持的具体操作: 模型 预训练 微调 模型压缩 在线推理 能力调测 Pangu-NLP-BI-4K-20241130
行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古预测大模型支持的具体操作: 模型 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-Predict-Table-Cla-2
择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 发布数据集 评估数据集 平台预置了多种数据类型的基础评估标准,包括NLP、视频和图片数据,用户可根据需求选择预置标准或自定义评估标准,从而精确优化数据质量,确保数据满足高标准,提升模型性能。 配比数据集 数据配比是将
本aa和bb、cls1样本aa和cls2的样本cc。 每个样本文件夹(如 aa)可以视为一个视频片段,其中每张图片代表视频的一个帧,将这些帧作为一个序列来学习视频分类,有助于模型学习视频的时序特征,从而进行准确的分类。 物体检测数据集标注文件说明 该说明适用于表1中的物体检测标注文件格式。
当前支持数据加工操作的数据集类型见表1。 表1 支持数据加工操作的数据集类型 数据类型 数据清洗 数据合成 数据标注 文本类 √ √ √ 图片类 √ - √ 视频类 √ - √ 气象类 √ - - 父主题: 加工数据集
其类别。适用于各种任务,如:积水检测、占道经营检测、人员离岗检测、动植物检测、工业缺陷检测等。 2024年12月发布的版本,支持全量微调、在线推理。 物体检测-N模型为中参数量模型,在保证计算效率的同时,具备较强的特征识别能力,提供高效的性能表现。 父主题: 训练CV大模型
量直接影响模型的训练效果和精度。 标注文本类数据集 发布文本类数据集 评估文本类数据集 平台预置了多种数据类型的基础评估标准,包括NLP、视频和图片数据,用户可根据需求选择预置标准或自定义评估标准,从而精确优化数据质量,确保数据满足高标准,提升模型性能。 评估文本类数据集 配比文本类数据集
重要。不同模型在预训练、微调、模型评测、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古NLP大模型支持的具体操作: 表2 盘古NLP大模型支持的能力 模型 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-NLP-N1-Chat-32K-20241130
型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古科学计算大模型支持的具体操作: 表2 盘古科学计算大模型支持的操作 模型 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-AI4S-Ocean_24h-20241130
创建标注任务时如果指定了审核人员,则审核人员可以审核数据集,管理员(主账号)可以对所有数据集进行审核。 对于审核不合格的数据可以填写不合格原因并驳回给标注员重新标注。 审核视频类数据集标注结果的步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程
@huaweicloud/huaweicloud-sdk-core npm i @huaweicloud/huaweicloud-sdk-pangulargemodels 在线生成SDK代码 API Explorer可根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explor
s”选项,找到并复制“X-Subject-Token”参数对应的值,该值即为需要获取的Token。 图4 获取Token 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333 。 AppCode认证
提示词工程是一项将知识、技巧和直觉结合的工作,需要通过不断实践实现模型输出效果的提升。提示词和模型之间存在着密切关系,本指南结合了大模型通用的提示工程技巧以及盘古大模型的调优实践经验,总结的一些技巧和方法更为适合基于盘古大模型的提示工程。 本文的方法论及技巧部分使用了较为简单的任务作为示例,以便简明易懂地说明这些
时,模型能够更快地生成结果,减少等待时间,从而提升用户体验。这种快速的推理能力使盘古大模型适用于广泛的应用场景。在需要实时反馈的业务中,如在线客服和智能推荐,盘古大模型能够迅速提供准确的结果。 迁移能力强 盘古大模型的迁移能力是其适应多变业务需求的关键。除了在已有领域中表现出色,
描述 填写评测任务描述。 参数填写完成后,单击“立即创建”,回退至“模型评测 > 人工评测”页面。 当状态为“待评测”时,可以单击操作列“在线评测”进入评测页面。 依据页面提示对评估效果区域进行评测打分,全部数据评测完成后单击“提交”。 图1 人工评测示例 在“人工测评”页面,评