检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Agent在实际生产应用中往往涉及到的工具数量较多,如果把所用的工具全部添加至Agent会产生如下问题: 占用大量输入token。 和问题无关的工具太多,影响模型的判断。 通过Tool Retriever可以解决上述问题,其原理是在Agent运行前,先从所有可用的工具中选择与问题最相关的工具,再交给Agent去处理,示例如下:
多轮对话:基于对话问答功能,用户可以与模型进行自然而流畅的对话和交流。 图1 服务管理 图2 申请开通服务 您可按照需要选择是否开启内容审核。 开启内容审核后,可以有效拦截大模型输入输出的有害信息,保障模型调用安全,推荐进行开启。 图3 大模型内容审核 盘古大模型支持通过对接内容审核,实现
模型都能以高准确率完成任务,为用户提供高质量的输出结果。 这种卓越的表现源于其先进的算法和深度学习架构。盘古大模型能够深入理解语言的内在逻辑与语义关系,因此在处理复杂语言任务时展现出更高的精准度和效率。这不仅提高了任务的成功率,也大幅提升了用户体验,使盘古大模型成为企业和开发者构建智能应用的首选。
add_tool(AddTool()) agent.add_tool(SearchTool()) 静态工具和动态工具的注册方式相同,通过addTool接口进行注册。 通过set_max_iterations可以设置最大迭代次数,控制Agent子规划的最大迭代步数,防止无限制的迭代或出现死循环情况。
盘古大模型为用户提供了五大模型的体验,包括NLP大模型、CV大模型、多模态大模型、预测大模型与科学计算大模型,用户可根据所需提交体验申请,申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面,单击“立即体验”,平台将跳转至盘古大模型体验申请页面。 图1 立即体验
盘古大模型为用户提供了五大模型的体验,包括NLP大模型、CV大模型、多模态大模型、预测大模型与科学计算大模型,用户可根据所需提交体验申请,申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面,单击“立即体验”,平台将跳转至盘古大模型体验申请页面。 图1 立即体验
安装SDK(Python SDK) pip直接安装 执行如下命令: pip install pangu_kits_app_dev_py 本地导入 从support网站上下载pangu-kits-app-dev-py的whl包。 建议使用conda创建一个新的python环境,python版本选择3
准备工作 注册华为账号并开通华为云 购买盘古大模型套件 开通盘古大模型服务 配置盘古访问授权 创建子用户并授权使用盘古
评估模型效果的方法有很多,通常可以从以下几个方面来评估模型训练效果: Loss曲线:通过Loss曲线的变化趋势来评估训练效果,确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估:使用平台的“模型评估”功能,“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标,
创建提示词工程 通过精心设计和优化提示词,可以引导大模型生成用户期望的输出,提示词工程任务的目标是通过设计和实施一系列的实验,来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程,用于对提示词的统一管理。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
训练数据集创建流程 数据是大模型训练的基础,提供了模型学习所需的知识和信息。大模型通过对大量数据的学习,能够理解并抽象出其中的复杂模式,从而进行精准的预测和决策。在训练过程中,数据的质量和多样性至关重要。高质量的数据能够提升模型对任务的理解,而多样化的数据则帮助模型更好地应对各种
的无监督文档量级过小,达不到预训练要求,您可以通过一些手段将其转换为有监督数据,再将转换后的领域知识与目标任务数据混合,使用微调的方式让模型学习。 这里提供了一些将无监督数据转换为有监督数据的方案,供您参考: 基于规则构建:您可以通过采用一些简单的规则来构建有监督数据。比如: 表1
AI助手”,选择需要运行的AI助手,单击“查看”。 图1 查看AI助手 在详情页面,AI助手API调用地址。 图2 获取调用地址 获取Token 本示例中,通过使用Postman软件获取Token。 登录“我的凭证 > API凭证”页面,获取user name、domain name、project
据集通常是包含了截止到某一时间点的所有数据。因此,对于该时间点之后的信息,大模型可能无法提供。 通过将大模型与盘古搜索结合,可以有效解决数据的时效性问题。当用户提出问题时,模型先通过搜索引擎获取最新的信息,并将这些信息整合到大模型生成的答案中,从而提供既准确又及时的答案。 登录盘
数据管理”中创建“评测”类型的数据集作为评估数据集,数据集创建完成后需要执行发布操作。 数据量建议3-1000条。当前数据集数据保存与上传的文件类型有以下两种,大小均不可超过1024MB。 文件类型为JSONL:每一行表示一段文本,形式为{"context":"context内容","target":"ta
评估完成后,进入“评估报告”页面,可以查看每条数据的评估结果。 在评估结果中,“预期结果”即为变量值(问题)所预设的期望回答,“生成结果”即模型回复的结果。通过比较“预期结果”与“生成结果”的差异可以判断提示词效果。 图3 查看评估报告 父主题: 批量评估提示词效果
考察模型逻辑 虽然模型的思考过程是个黑盒,但可以通过反问模型答案生成的逻辑或提问模型是否理解任务要求,考察模型生成的逻辑,提升模型思维过程的可解释性。 对于模型答案的反问 如果模型给出了错误的答案,可以反问模型回答的逻辑,有时可以发现错误回答的根因,并基于此修正提示词。 在反问时
配置知识库 大模型在进行训练时,使用的是通用的数据集,这些数据集没有包含特定行业的数据。通过知识库功能,用户可以将领域知识上传到知识库中,向大模型提问时,大模型将会结合知识库中的内容进行回答,解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
按约定的格式准备prompt文件; // 文档结构和文件名参考提供的系统预置prompts文件 文档结构示例: …… prompts -- default -- documents -- stuff.pt // 配置sdk配置项,指定prompt文件根路径,以
购买盘古大模型套件 在购买盘古大模型套件之前,您可以通过“能力调测”功能体验平台预置的模型,请参见体验盘古预置模型能力。 盘古大模型套件在订购时分为模型资产和模型推理资产。 模型资产即盘古系列大模型,用户可以订购盘古基模型、功能模型、专业大模型。 基模型:基模型经过大规模数据的预