检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
平台资源管理 管理模型资产、推理资产 获取Token消耗规则
查看模型资产与模型推理资产 用户购买盘古大模型套件后,可以在“平台管理 > 资产管理”中查看购买的模型资产和模型推理资产。 图1 查看模型资产 图2 查看模型推理资产 续订模型推理资产 模型推理资产到期后,可以进行续订操作。 在“平台管理 > 资产管理 > 模型推理资产”中单击操作列“续订”执行续订操作。
为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型训练前评估文本的Token数量,提供费用预估,并优化数据预处理策略。 使用Token计算器的步骤如下: 登录盘古大模型套件平台。 在“服务管理”页面,单击页面右上角“Token计算器”。
什么是盘古大模型 盘古大模型致力于深耕行业,打造多领域的行业大模型和能力集。其核心能力依托于盘古大模型套件平台,该平台是华为云推出的集数据管理、模型训练和模型部署为一体的一站式大模型开发与应用平台。平台提供了包括盘古大模型在内的多种大模型服务,支持大模型的定制开发,并提供覆盖全生命周期的大模型工具链。
盘古大模型套件使用流程 盘古大模型套件平台是一款功能强大、集成度高的大模型开发与应用平台。该平台全面支持大模型的数据管理、清洗与配比,涵盖预训练与微调功能。此外,平台还提供了强大的模型部署、评估与调用功能,确保模型能够在生产环境中高效应用。平台支持提示词工程、AI助手及SDK开发,
创建一个新的数据集 数据集是指用于训练模型或评估的一组相关数据样本。存储在OBS中的数据可以通过数据集的形式放置在到盘古平台中,便于管理。 在创建数据集之前,请先将数据上传至OBS平台。 上传数据至OBS 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”,单击界面右上角“创建数据集”。
云容器引擎-成长地图 | 华为云 盘古大模型 盘古大模型(PanguLargeModels)是集数据管理、模型训练和模型部署于一体的一站式大模型开发与应用平台。平台支持大模型的定制开发,提供全生命周期工具链,帮助开发者高效构建与部署模型,企业可灵活选择适合的服务与产品,轻松实现模型与应用的开发。
盘古大模型提供了便捷的“能力调测”功能,用户可以体验平台预置的多种模型功能,包括文本补全和多轮对话。 只需在输入框中输入问题,模型便会自动返回对应的答案内容。平台还允许用户实时调整参数,以便更好地满足您的需求。 支持区域: 西南-贵阳一 体验盘古预置模型能力 应用百宝箱 应用百宝箱是盘古大模型为用户提供的便
获取数据清洗模板 在清洗数据时,用户可以通过组合不同的数据清洗算子来实现数据清洗功能。平台提供了多种数据清洗模板,用户可以直接套用这些模板进行数据清洗。 数据清洗模板获取方式如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”,进入“清洗模板”页面,在该页面查看预置的数据清洗模板。
清洗算子功能介绍 数据清洗是提高数据质量的重要环节,包括去除异常的字符、去除表情符号和去除个人敏感内容等,经过清洗的数据可以提升训练阶段的稳定性。 平台支持通过以下清洗能力: 表1 清洗算子说明 算子类型 功能 说明 数据转换 全角转半角 将文本中的所有全角字符转换成半角字符。 中文繁简体互转
靠和低成本的存储需求。因此,为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择“平台管理 > 授权管理”,单击右上角“一键授权”进行授权。 图1 一键授权 父主题: 准备工作
订购盘古边缘部署服务 登录盘古大模型套件平台,在服务“总览”页面,单击“立即购买”,平台将为您提交购买权限申请。如您有加急购买需求,可在页面右上角单击“工单 > 新建工单”,搜索“盘古大模型”产品,选择问题类型并提交工单。 图1 立即购买 图2 新建工单 获取购买权限后,根据需要选择计费模式,基模型需选择“N2
获取提示词模板 平台提供了多种任务场景的提示词模板,可以帮助用户更好地利用大模型的能力,引导模型生成更准确且更具针对性的输出,从而提高模型在特定任务上的性能。在创建提示词工程前,可以先使用预置的提示词模板,或基于提示词模板进行改造,如果提示词模板满足不了使用需求,可再单独创建。 提示词模板可以在平台“应用开发
、预测大模型与科学计算大模型,用户可根据所需提交体验申请,申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面,单击“立即体验”,平台将跳转至盘古大模型体验申请页面。 图1 立即体验 您可以选择希望体验的盘古大模型,单击“申请体验”,填写手机、邮箱和
、预测大模型与科学计算大模型,用户可根据所需提交体验申请,申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面,单击“立即体验”,平台将跳转至盘古大模型体验申请页面。 图1 立即体验 您可以选择希望体验的盘古大模型,单击“申请体验”,填写手机、邮箱和
什么是提示词工程 什么是提示词工程 提示工程是一个较新的学科,应用于开发和优化提示词(Prompt),帮助用户有效地将语言模型用于各种应用场景和研究领域。掌握提示词工程相关技能将有助于用户了解大型语言模型的能力和局限性。 提示工程不仅涉及设计和研发提示词,还包括与大型语言模型的交
情况。因此,数据的收集和处理是大模型训练中的关键环节。 盘古大模型套件平台通过提供数据获取、清洗、配比与管理等功能,确保构建高质量的训练数据。 父主题: 准备盘古大模型训练数据集
project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
配置知识库 大模型在进行训练时,使用的是通用的数据集,这些数据集没有包含特定行业的数据。通过知识库功能,用户可以将领域知识上传到知识库中,向大模型提问时,大模型将会结合知识库中的内容进行回答,解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 >
刚创建的数据集在未发布状态下,无法应用于模型训练,数据集创建、清洗完成后需要执行“发布”操作才可以将该数据集用于后续的任务中。 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”,在“我的数据集”页签找到未发布的数据集,单击操作列“版本发布”执行发布数据集操作。 对不