检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
了极大的便利。它们可以根据具体需求,利用盘古大模型构建或优化业务流程,提高工作效率,降低运营成本,并为客户提供更精准、个性化的服务。 模型效果优秀 经过海量数据训练,盘古大模型在各种自然语言处理任务中展现出卓越的性能。无论是文本分类、情感分析、机器翻译,还是问答系统,模型都能以高
pangu.url,若地址与custom.llm.url,则为另外一个大模型。 自定义参数问答:自定义设置如temperature等参数,获得对应的效果。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLM; import com.huaweicloud
提示词工程 什么是提示词工程 获取提示词模板 撰写提示词 横向比较提示词效果 批量评估提示词效果 发布提示词
间,同时保持或接近模型的最佳性能。 过拟合 过拟合是指为了得到一致假设而使假设变得过度严格,会导致模型产生“以偏概全”的现象,导致模型泛化效果变差。 欠拟合 欠拟合是指模型拟合程度不高,数据距离拟合曲线较远,或指模型没有很好地捕捉到数据特征,不能够很好地拟合数据。 损失函数 损失函数(Loss
数据量足够,但质量较差,可以微调吗 对于微调而言,数据质量非常重要。一份数据量少但质量高的数据,对于模型效果的提升要远大于一份数据量多但质量低的数据。若微调数据的质量较差,那么可能会导致模型学习到一些错误或者不完整的信息,从而影响模型的准确性和可靠性。因此,不建议您直接使用低质量数据进行微调。
面试问题生成 应用场景说明:将面试者的简历信息输入给大模型,基于简历生成面试问题,用于辅助人工面试或实现自动化面试。 父主题: 写作示例
据中随机拆分出1%的数据作为验证集,验证集中最多使用100条数据用于模型训练效果评估。数据按比例拆分后,如果超过100条,会随机取100条数据。 从已有数据导入:从已有的数据集中选择数据用于模型训练效果评估,如果数据超过100条,会取前100条数据。 图2 从训练数据拆分 完成训
围在0.0到1.0之间,值越高说明模型生成和实际答案匹配度越高。 可以作为模型能力的参考指标,当两个模型进行比较时,BLEU指标越大的模型效果一般更好。但是模型的能力还是需要通过人工评测来评判,BLEU指标只能作为参考。 指标的缺陷 BLEU指标只考虑n-gram词的重叠度,不考虑句子的结构和语义。
基础问答 提供简单的对话实现。 初始化 from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.skill.base import SimpleSkill from langchain.prompts
撰写提示词 创建提示词工程 撰写提示词 预览提示词效果 父主题: 提示词工程
Agent助手 应用介绍 通过模型对复杂任务的自动拆解与外部工具调用执行能力,通过与用户多轮对话,实现会议室预订场景。 环境准备 Java 1.8。 参考安装章节,完成基础环境准备。 盘古大语言模型。 开发实现 创建配置文件llm.properties, 正确配置iam、pangu配置项。信息收集请参考准备工作。
图2 搭建数据清洗流程 将算子拖拽至“输入”、“输出”之间,即可完成清洗流程的搭建,搭建过程中可以通过“执行节点”功能查看算子对数据的清洗效果。算子功能的详细介绍请参见清洗算子功能介绍。 图3 执行节点 用户配置算子后推荐增加、显示备注信息,用于团队其他成员快速了解算子编排。 图4
选择知识库类型后,单击“创建”进入知识库设置页面,创建知识库。 当选择“自定义知识库”时,需要设置名称、英文名称、描述信息。注意英文名称和描述将影响模型检索效果,不可随意填写,需按照知识库中文档的实际内容或知识库目进行填写。设置完成后单击“立即创建”进入知识库详情页,上传文档。在详情页会同步展示与AI助手的绑定关系。
应性。例如,将提示词设置为“你是一个旅游助手,需要给用户介绍旅行地的风土人情。请介绍一下{{location}}的风土人情。”在评估提示词效果时,可以通过批量替换{{location}}的值,来获得模型回答,提升评测效率。 同时,撰写提示词过程中,可以通过设置模型参数控制模型生成
setStreamCallback(StreamAgentCallBack streamAgentCallback); StreamAgentCallBack实现示例: private class StreamAgentCallBackImpl implements StreamAgentCallBack
长文本摘要 场景介绍 切割长文本,利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
开通盘古大模型服务 盘古大模型具备文本补全和多轮对话能力,用户在完成盘古大模型套件的订购操作后,需要开通大模型服务,才可以调用模型,实现与模型对话问答。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。
长文本摘要 场景介绍 切割长文本,利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
给定的一段或几段段落知识的场景下进行总结回答的能力。因此,如果您的场景是基于某个领域内的知识问答,那么采用微调的手段确实能从一定程度上提升效果,但如果综合考虑训练的耗时和模型后续的持续迭代,采用搜索+问答的方案则更具性价比。 父主题: 典型训练问题和优化策略
rompt,直到任务完成或者达到终止条件(如设置迭代次数)。 实例化Tool 实例化Agent 运行Agent 监听Agent Agent效果优化 Agent流式输出 Tool Retriever 父主题: Java SDK