检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
申请体验盘古大模型服务 盘古大模型为用户提供了五大模型的体验,包括NLP大模型、CV大模型、多模态大模型、预测大模型与科学计算大模型,用户可根据所需提交体验申请,申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面,单击“立即体验”,平台将跳转至盘古大模型体验申请页面。
模型的基础信息 盘古大模型平台为用户提供了多种规格的模型,涵盖从基模型到功能模型的多种选择,以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异,以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 表1 NLP大模型清单 模型类别 模型
基础问答 提供简单的对话实现。 初始化 from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.skill.base import SimpleSkill from langchain.prompts
基础问答 基础问答(SimpleSkill)提供基础的对话实现。 初始化。 1 2 3 4 5 6 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.Template
创建模型评估任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击界面右上角“创建评估任务”,进入评估任务创建页面。 图1 模型评估列表页面 填写评估任务所需的评估配置、评估数据和基本信息。 图2 创建评估任务 评估配置: 待评估模型:支持选择多个模
常见训练报错与解决方案 read example failed报错 报错原因:模型训练过程中,训练日志出现“read example failed”报错,表示当前数据集格式不满足训练要求。 解决方案:请参考数据格式要求校验数据集格式。 图1 read example failed报错
典型训练问题和优化策略 什么情况下需要微调 什么情况下不建议微调 数据量很少,可以微调吗 数据量足够,但质量较差,可以微调吗 无监督的领域知识数据,量级无法支持增量预训练,如何让模型学习 如何调整训练参数,使模型效果最优 如何判断训练状态是否正常 如何评估微调后的模型是否正常 如何调整推理参数,使模型效果最优
Agent助手 应用介绍 通过模型对复杂任务的自动拆解与外部工具调用执行能力,通过与用户多轮对话,实现会议室预订场景。 环境准备 Java 1.8。 参考安装章节,完成基础环境准备。 盘古大语言模型。 开发实现 创建配置文件llm.properties, 正确配置iam、pangu配置项。信息收集请参考准备工作。
创建数据集清洗任务 数据集创建完成后,可以使用数据清洗功能,对异常数据进行清理,或进行数据转换、过滤和去重等操作。 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”,单击界面右上角“创建任务”。 图1 数据清洗 依据需要清洗的数据类型,选择对应的数据集和数据
边缘部署准备工作 本指南的边缘部署操作以largemodel集群为例,示例集群信息如下表。 表1 示例集群信息 集群名 节点类型 节点名 规格 备注 largemodel controller ecs-edge-XXXX 鲲鹏通用计算型|8vCPUs|29GiB|rc3.2xlarge
配置SDK 基础配置项 SDK依赖的配置项主要通过读取llm.properties配置文件;如果配置文件名不为llm.properties,需要在项目中主动设置,方法如下: 在resources路径下,创建llm.properties文件,并根据实际需要配置相应的值。 如果需要自定义配置文件名,可以参考以下代码设置。