检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标注视频类数据集 创建视频类数据集标注任务 标注视频类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 数据标注功能支持创建标注任务、标注数据集(标注作业)、审核标注后的数据集(审核作业)与管理标注任务(任务管理)。其中,不同角色权限支持的功能及展示的前端界面略有差异
评估视频类数据集 发布视频类数据集前,ModelArts Studio大模型开发平台支持对数据集进行评估操作,帮助用户优化数据质量,确保数据满足高标准,提升模型性能。 如果无需使用数据评估操作,可跳过此章节至发布视频类数据集。 创建视频类数据集评估标准 ModelArts Studio
评估文本类数据集 发布文本类数据集前,ModelArts Studio大模型开发平台支持对数据集进行评估操作,帮助用户优化数据质量,确保数据满足高标准,提升模型性能。 如果无需使用数据评估操作,可跳过此章节至发布文本类数据集。 创建文本类数据集评估标准 ModelArts Studio
数据工程介绍 数据工程介绍 数据工程是ModelArts Studio大模型开发平台(下文简称“平台”)为用户提供的一站式数据处理与管理功能,旨在通过系统化的数据获取、加工、发布等过程,确保数据能够高效、准确地为大模型的训练提供支持,帮助用户高效管理和处理数据,提升数据质量和处理效率
获取提示词模板 平台提供了多种任务场景的提示词模板,可以帮助用户更好地利用大模型的能力,引导模型生成更准确、更有针对性的输出,从而提高模型在特定任务上的性能。 在创建提示词工程前,可以先使用预置的提示词模板,或基于提示词模板进行改造 。如果提示词模板满足不了使用需求可再单独创建。
创建知识库 创建知识库的步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。 单击左侧导航栏“工作台”,在“知识库”页签,单击右上角“创建知识库”。 在“创建知识库”
工作流介绍 Agent开发平台的工作流由多个节点构成,节点是组成工作流的基本单元。平台支持多种节点,包括开始、结束、大模型、意图识别、提问器、插件、判断、代码、知识检索和消息节点。 创建工作流时,每个节点需要配置不同的参数,如输入和输出参数等,开发者可通过拖、拉、拽可视化编排更多的节点
管理盘古模型资产 模型资产介绍 用户在平台中可试用、已订购或训练后发布的模型,将被视为模型资产并存储在空间资产内,方便统一管理与操作。用户可以查看模型的所有历史版本及操作记录,从而追踪模型的演变过程。同时,平台支持一系列便捷操作,包括模型训练、压缩和部署,帮助用户简化模型开发及应用流程
盘古大模型空间资产介绍 在ModelArts Studio大模型开发平台的空间资产中,包括数据和模型两类资产。这些资产为用户提供了集中管理和高效操作的基础,便于用户实现统一查看和操作管理。 数据资产:用户已发布的数据集将作为数据资产存放在空间资产中。用户可以查看数据集的详细信息,包括数据格式
数据集发布场景介绍 数据发布介绍 ModelArts Studio大模型开发平台提供的数据发布功能涵盖数据评估和数据发布操作,旨在通过数据质量评估,确保数据满足大模型训练的多样性、平衡性和代表性需求,促进数据的高效流通和应用。 数据发布不仅包括将数据发布为适合使用的格式,还要求根据任务需求评估数据集效果
空间管理 ModelArts Studio大模型开发平台为用户提供了灵活且高效的空间资产管理方式。平台支持用户根据不同的使用场景、项目类别或团队需求,自定义创建多个工作空间。每个工作空间都是完全独立的,确保了工作空间内的资产不受其他空间的影响,从而保障数据和资源的隔离性与安全性。用户可以根据需求灵活划分工作空间
评估图片类数据集 发布图片类数据集前,ModelArts Studio大模型开发平台支持对数据集进行评估操作,帮助用户优化数据质量,确保数据满足高标准,提升模型性能。 如果无需使用数据评估操作,可跳过此章节至发布图片类数据集。 创建图片类数据集评估标准 ModelArts Studio
申请试用盘古大模型服务 盘古大模型为用户提供了服务试用,需提交试用申请。 试用申请步骤如下: 登录ModelArts Studio大模型开发平台。 单击“试用咨询”,进入华为云售前咨询页面。 图1 申请试用 填写姓名、联系电话等用户信息,单击“提交申请”进行表单预约。 父主题: 准备工作
云容器引擎-成长地图 | 华为云 盘古大模型 盘古大模型服务(PanguLargeModels)致力于深耕行业,打造多领域行业大模型和能力集。盘古大模型能力通过ModelArts Studio大模型开发平台承载,它提供了包括盘古大模型在内的多种大模型服务,提供覆盖全生命周期的大模型工具链
创建NLP大模型训练任务 创建NLP大模型预训练任务 创建NLP大模型预训练任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,单击右上角“创建训练任务”。 在“创建训练任务”页面
图片类加工算子介绍 数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台提供了图文类、图片类加工算子,算子能力清单见表1。 表1 图片类加工算子能力清单 算子分类
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量,提供费用预估,并优化数据预处理策略。 URI POST /v1/{project_id}/deployments
视频类加工算子介绍 数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持视频类数据集的加工操作,分为数据提取、数据过滤、数据打标三类,视频类加工算子能力清单见表1。
发布预测类数据集 预测类数据集当前仅支持发布为“标准格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 发布任务”,单击界面右上角“创建发布任务”。 在“创建发布任务”页面
使用API调用NLP大模型 预置模型或训练后的模型部署成功后,可以使用“文本对话”API实现模型调用。 表1 NLP大模型API清单 API分类 API访问路径(URI) 文本对话 /v1/{project_id}/deployments/{deployment_id}/chat/