正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 使用盘古大模型Java SDK时,需要在代码中配置以下信息,请提前收集。 表1 资源列表 类型 资源 是否必选 依赖信息 参考文档 备注 大语言模型 华为云盘古 是(大语言模型至少选一个) 盘古模型API调用URL。 华为云IAM账号认证信息。 盘古大模型API参考文档:
创建一个新的数据集,用来管理上传至平台的训练或者评测数据。 创建一个新的数据集 数据集质量检测/数据清洗 对上传的数据进行质量检测,若质量有问题可以进行数据清洗。 检测数据集质量 清洗数据集(可选) 发布数据集 对无质量问题的数据集执行发布操作。 发布数据集 创建一个训练数据集
agent_session: AgentSession): """ onSessionIteration调用结束后,检查Agent是否需要终止,如果需要终止,则返回true,默认不终止 可以在终止前对agentSession进行修改,如:修改agent的finalAnswer
'Industry', 'relation_operator': 'EQUAL-TO'}]}}"} 判断数据中的JSON参数是否与Query中的参数对应上。 训练模型 自监督训练: 不涉及 有监督微调: 该场景采用了下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练: 表1 微调核心参数设置
agentSession) { } /** * onSessionIteration调用结束后,检查Agent是否需要终止,如果需要终止,则返回true,默认不终止 * 可以在终止前对agentSession进行修改,如:修改agent的finalAnswer
思考:好的,请问您想预定哪一个会议室? 由于缺少参数,因此模型开始追问,此时构造了用户消息,回答了模型追问的问题。可以通过AgentSession的状态来判断是否是追问闲聊,或是发起工具调用,此时AgentSession的状态为FINISHED,所以为追问或闲聊。打印的日志为: Agent status
add_docs(bulk_list) 通过vectorStoreConfig判断使用CSS的插件模式和非插件模式。如果配置了embedding模型,则使用非插件模式,否则使用插件模式。注意,在非插件模式下,vectorFields有且只有1个。 父主题: Memory(记忆)
候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 如果您的华为云账号已升级为华为账号,将不支持获取账号Token。建议为您自己创建一个IAM用户,获取IAM用户的Token。
其中,训练配置选择LLM(大语言模型),训练类型选择有监督训练,根据所选模型配置训练参数。 表1 有监督微调参数说明 参数名称 说明 模型类型 选择“LLM”。 训练类型 选择“有监督微调”。 训练方式 全量微调:在模型有监督微调过程中,对大模型的全部参数进行更新。这种方法通常
.build()); 通过vectorStoreConfig判断使用CSS的插件模式和非插件模式,如果配置了embedding模型,则使用非插件模式;否则使用插件模式。注意,在非插件模式下,vectorFields有且只有1个。 父主题: Memory(记忆)
present. 请求参数丢失。 请检查调用API时请求参数是否填写完整、是否有拼写错误、取值是否正确。 PANGU.3307 domain has not added the opened API. 账号未开通该API服务。 请确认是否已开通该API服务。 PANGU.3308 The accessed
toolDesc。工具的描述,为重要参数,尽可能的准确简短描述工具的用途。 toolPrinciple。表示何时使用该工具,为重要参数。该描述直接影响LLM对工具使用的判断,尽量描述清楚。如果Agent实际执行效果不符合预期,可以调整。 inputDesc。工具的入参描述,为重要参数。该描述直接影响LLM对入
大模型概念类问题 大模型是什么 大模型的计量单位token指的是什么 大模型是否可以自定义人设 盘古自然语言大模型的适用场景有哪些 大模型的安全性需要从哪些方面展开评估和防护 训练智能客服系统大模型需要考虑哪些方面
统计模型调用量 模型调用成功后,有两种方式可以查看模型的调用量。 通过“服务管理”功能查看调用量:查看具体某个模型的调用总量、调用成功量、调用失败量,且可按时间进行筛选。 通过“运营面板”功能查看调用量:查看全部模型访问总数、模型回复时的响应时长、兜底回复比例以及输入/输出token信息。
压缩盘古大模型 N2基础功能模型、N4基础功能模型、经有监督微调训练以及RLHF训练后的N2、N4模型可以通过模型压缩技术在保持相同QPS目标的情况下,降低推理时的显存占用。 采用INT8的压缩方式,INT8量化可以显著减小模型的存储大小与降低功耗,并提高计算速度。 模型经过量化
数据量和质量均满足要求,为什么微调后的效果不好 这种情况可能是由于以下原因导致的,建议您排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,根据
"meeting_room_status_query", toolDesc = "查询会议室的状态,是否被预定或者正在使用中", toolPrinciple = "请在需要预定会议室之前使用,查询会议室状态判断是否可以预定", inputDesc = "", outPutDesc = "会议室状态")
考察模型逻辑 虽然模型的思考过程是个黑盒,但可以通过反问模型答案生成的逻辑或提问模型是否理解任务要求,考察模型生成的逻辑,提升模型思维过程的可解释性。 对于模型答案的反问 如果模型给出了错误的答案,可以反问模型回答的逻辑,有时可以发现错误回答的根因,并基于此修正提示词。 在反问时
模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据质量:请检查训练数据中是否存在包含异常字符的数据,可以通过规则进行清洗。 训练参数设置:若数据质量存在问题,且因训练参数设置的不合理而导致过拟合,该现象会更加明显。请检查训练参数中的
p镜像。 npu驱动和固件安装。 执行命令npu-smi info查看驱动是否已安装。如果有回显npu卡信息,说明驱动已安装。 详情请参见昇腾官方文档。 hccn too网卡配置。 执行如下命令,查看是否有回显网卡信息。如果有,则说明网卡已经配置,否则继续操作下面步骤。 cat /etc/hccn