检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
体验盘古大模型功能 申请体验盘古大模型服务 体验盘古预置模型能力 体验盘古驱动的应用百宝箱
大模型概念类问题 大模型是什么 大模型的计量单位token指的是什么 大模型是否可以自定义人设 盘古自然语言大模型的适用场景有哪些 大模型的安全性需要从哪些方面展开评估和防护 训练智能客服系统大模型需要考虑哪些方面
典型训练问题和优化策略 什么情况下需要微调 什么情况下不建议微调 数据量很少,可以微调吗 数据量足够,但质量较差,可以微调吗 无监督的领域知识数据,量级无法支持增量预训练,如何让模型学习 如何调整训练参数,使模型效果最优 如何判断训练状态是否正常 如何评估微调后的模型是否正常 如何调整推理参数,使模型效果最优
常用方法论 打基础 补说明 搭结构 排顺序 补预设 父主题: 提示词写作实践
写作示例 意图匹配 面试问题生成 父主题: 提示词写作实践
获取提示词模板 平台提供了多种任务场景的提示词模板,可以帮助用户更好地利用大模型的能力,引导模型生成更准确且更具针对性的输出,从而提高模型在特定任务上的性能。在创建提示词工程前,可以先使用预置的提示词模板,或基于提示词模板进行改造,如果提示词模板满足不了使用需求,可再单独创建。 提示词模板可以在平台“应用开发
数据保护技术 盘古大模型服务通过多种数据保护手段和特性,保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储
输入变量值后预览区域会自动组装展示提示词。用户也可以直接选择已创建的变量集填入变量值信息,变量集是一个excel文件,每行数据是需要输入的变量值信息,可以通过“导入”功能进行上传。 图1 预览提示词效果 单击“查看效果”按钮,输出模型回复结果,用户可以根据预览效果调整提示词的文本和变量。
一个评估数据集内,上传的数据文件数量不得超过100个,单文件大小不得超过1GB,所有文件的总大小不得超过1GB。 数据格式要求 盘古大模型服务支持如下数据,格式要求请参见表3。 表3 盘古数据文件格式要求 数据类型 支持格式 数据样例 是否支持拆分(划分训练集/验证集) 自监督训练数据
常见训练报错与解决方案 read example failed报错 报错原因:模型训练过程中,训练日志出现“read example failed”报错,表示当前数据集格式不满足训练要求。 解决方案:请参考数据格式要求校验数据集格式。 图1 read example failed报错
应用开发SDK概述 应用开发SDK针对大模型应用开发场景,对大语言模型进行封装,提供了语言模型、提示词模板、记忆、技能、智能代理等功能模块,简化用户的开发工作,帮助用户快速开发一个大模型应用。当前应用开发SDK支持如下语言: Python Java 开发环境要求 华为云盘古大模型应用开发SDK要求Python
查看训练任务详情与训练指标 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 图1 模型训练列表 不同类型的训练方法可支持查看的训练指标有所差异,训练指标和训练方法的关系如下: 表1 训练指标和训练方法对应关系
创建模型评估数据集 在收集评估数据集时,应确保数据集的独立性和随机性,并使其能够代表现实世界的样本数据,以避免对评估结果产生偏差。对评估数据集进行分析,可以帮助了解模型在不同情境下的表现,从而得到模型的优化方向。 在“数据工程 > 数据管理”中创建“评测”类型的数据集作为评估数据集,数据集创建完成后需要执行发布操作。
型可能无法提供。 通过将大模型与盘古搜索结合,可以有效解决数据的时效性问题。当用户提出问题时,模型先通过搜索引擎获取最新的信息,并将这些信息整合到大模型生成的答案中,从而提供既准确又及时的答案。 登录盘古大模型套件平台,在左侧导航栏中选择“能力调测”。 单击“多轮对话”页签,选择
配置SDK(Python SDK) 基础配置项 SDK依赖的配置项主要通过加载llm.properties配置文件。 在项目路径下,创建llm.properties文件,并根据实际需要配置相应的值。 在环境变量中配置“SDK_CONF_PATH”指向该配置文件: # 建议在业务项目入口处配置
配置Prompt(Java SDK) 提示词模板模块提供模板格式化、自定义配置、few-shot管理功能。 模板格式化 import com.huaweicloud.pangu.dev.sdk.template.KV; import com.huaweicloud.pangu.dev
安装SDK(Java SDK) Maven中央仓导入 在项目pom.xml中参考以下方式添加依赖。 <dependency> <groupId>com.huaweicloud</groupId> <artifactId>pangu-kits-app-dev-java</artifactId>
安装SDK(Python SDK) pip直接安装 执行如下命令: pip install pangu_kits_app_dev_py 本地导入 从support网站上下载pangu-kits-app-dev-py的whl包。 建议使用conda创建一个新的python环境,python版本选择3
查看提示词评估结果 评估任务创建完成后,会跳转至“评估”页面,在该页面可以查看评估状态。 图1 查看评估状态 单击评估名称,进入评估任务详情页,可以查看详细的评估进度。例如,在图2中有10条评估用例,当前已经评估了8条,剩余2条待评估。 图2 查看评估进展 评估完成后,进入“评估
配置Prompt(Python SDK) 提示词模板模块提供模板格式化、自定义配置管理功能。 模板格式化 from langchain import PromptTemplate from pangukitsappdev.api.llms.factory import LLMs from