检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"tool_id": "reserve_meeting_room", "tool_desc": "预定会议室,请在需要预定会议室时调用此工具,预定前需要先查询会议室状态", "input_schema": { "type": "object", "properties":
可以使用较小的学习率和较小的数据批量大小,避免过拟合。 通用模型的规格:如果模型参数规模较小,那么可能需要较大的学习率和较大的批量大小,以提高训练效率。如果规模较大,那么可能需要较小的学习率和较小的批量大小,防止内存溢出。 这里提供了一些微调参数的建议值和说明,供您参考: 表1 微调参数的建议和说明
可以增大模型回答生成的长度,避免生成异常截断。请注意,该参数值存在上限,请结合目标任务的实际需要以及模型支持的长度限制来调整。 模型规格:不同规格的模型支持的长度不同,若目标任务本身需要生成的长度已经超过模型上限,建议您替换可支持更长长度的模型。 数据质量:请检查训练数据中是否存
开通API 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本补全:给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全。例如让模型依据要求写邮件、做摘要总结、生成观点见解等。 多轮
和去重等操作。 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”,单击界面右上角“创建任务”。 图1 数据清洗 依据需要清洗的数据类型,选择对应的数据集和数据集版本,输出路径,设置名称、描述等信息为可选项。 输出路径默认为系统生成,您也可以自定义输出路径,当前支持覆盖和追加两种方式。
通过精心设计和优化提示词,可以引导大模型生成用户期望的输出,提示词工程任务的目标是通过设计和实施一系列的实验,来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程,用于对提示词的统一管理。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。
差异性和效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务名称,跳转工程任务下候选提示词页面。 图1 提示词工程 选中两个候选提示词,单击左上角“横向比较”按钮,跳转提示词比较页面。
完成后需要执行发布操作。 数据量建议3-1000条。当前数据集数据保存与上传的文件类型有以下两种,大小均不可超过1024MB。 文件类型为JSONL:每一行表示一段文本,形式为{"context":"context内容","target":"target内容"},每一段需要准确完
练中,通常需要结合多种任务类型的数据,而不仅限于单一场景的数据。因此,实际的训练会混合不同类型的数据。例如,为防止模型在训练后出现通用问答能力下降,会混入一定的通用数据。 创建训练数据集的常见业务场景包括: 当用户的数据集较小时,可以将多个数据集组合起来进行训练。 需要进行模型的
模型参数的设置会影响模型的生成质量和多样性,因此需要根据不同的场景进行选择。提示词的撰写步骤如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务操作栏中的“撰写”。 图1
发布数据集 刚创建的数据集在未发布状态下,无法应用于模型训练,数据集创建、清洗完成后需要执行“发布”操作才可以将该数据集用于后续的任务中。 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”,在“我的数据集”页签找到未发布的数据集,单击操作列“版本发布”执行发布数据集操作。
即使您的目标场景依赖垂域背景知识,微调也并非最佳方案,比如: 场景微调的数据量很少或者数据质量很差:微调对数据量和数据质量有很高的要求,需要使用高质量的数据进行模型训练。 垂域知识问答场景:通用模型本身已经具有在给定的一段或几段段落知识的场景下进行总结回答的能力。因此,如果您的
值信息。 输入变量值后预览区域会自动组装展示提示词。用户也可以直接选择已创建的变量集填入变量值信息,变量集是一个excel文件,每行数据是需要输入的变量值信息,可以通过“导入”功能进行上传。 图1 预览提示词效果 单击“查看效果”按钮,输出模型回复结果,用户可以根据预览效果调整提示词的文本和变量。
"meetingRoom": "A01"} 同样的,可以通过AgentSession的status判断此时是否需要调用工具,如果需要调用工具,可以从currentAction中获取需要调用的工具信息。 当提交了工具调用结果后,第三次printPlan打印的结果为: 用户: 定个2点-4点的会议
实例化Agent Agent实例化过程包括注册LLM和注册工具两个部分。 import com.huaweicloud.pangu.dev.sdk.agent.ReactPanguAgent; import com.huaweicloud.pangu.dev.sdk.api.llms
l集群为例,示例集群信息如下表。 表1 示例集群信息 集群名 节点类型 节点名 规格 备注 largemodel controller ecs-edge-XXXX 鲲鹏通用计算型|8vCPUs|29GiB|rc3.2xlarge.4镜像 EulerOS 2.9 64bit with
成,则需要增加“话题重复度控制”的值。 知识问答:对于文本生成场景(开放问答、基于搜索内容回答等),从客观上来说,回答需要是确定且唯一的,建议降低“温度”或“核采样”的值(二者选其一调整)。若需要每次生成完全相同的回答,可以将“温度”置为0。 参数的选择没有标准答案,您需要根据任
>=80% 绿色 可用 >=40% 黄色 预警,需要优化数据 <40% 红色 告警,需要优化数据 正常数据量:数据集中,有效数据占总体数据的比例。 预警:数据集中,有效数据占总体数据的比例在40%-80%之间,表示数据质量较差,提示需要进行优化。 告警:数据集中,有效数据占总体数据
大模型的计量单位token指的是什么 大模型是否可以自定义人设 盘古自然语言大模型的适用场景有哪些 大模型的安全性需要从哪些方面展开评估和防护 训练智能客服系统大模型需要考虑哪些方面
数据中无异常样本:微调数据需要清洗和校验,滤除其中的噪声,尽可能保证回答中不存在异常数据。如空数据、重复、水印和异常字符等。 数据多样性:微调数据需要具有一定的多样性,多样性能增加任务的复杂度和难度,让模型能够处理不同的情况和问题,提升模型泛化性。例如,现在需要微调一个文案创作的模型,模型需要生成各个城市的宣传文案: