检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Agent用于工具调用场景,与普通的LLM流式输出相比,区分了文本流与工具流。文本流将输出模型的思考过程和最终结果;工具流将输出工具的调用过程,而工具的调用的执行结果是通过监听获取的。 通过如下接口为Agent添加流式输出的回调: from pangukitsappdev.callback.StreamCallbackHandler
横向比较提示词效果 将设置为候选的两个提示词横向比较,获取提示词的差异性和效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务名称,跳转工程任务下候选提示词页面。 图1
的准确性。大规模预训练模型则是指模型参数达到千亿、万亿级别的预训练模型。此类大模型因具备更强的泛化能力,能够沉淀行业经验,并更高效、准确地获取信息。 父主题: 大模型概念类问题
Loss(损失函数值)的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标,正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss,并绘制成Loss曲线,来观察其变化趋势。一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。
于该时间点之后的信息,大模型可能无法提供。 通过将大模型与盘古搜索结合,可以有效解决数据的时效性问题。当用户提出问题时,模型先通过搜索引擎获取最新的信息,并将这些信息整合到大模型生成的答案中,从而提供既准确又及时的答案。 登录盘古大模型套件平台,在左侧导航栏中选择“能力调测”。
来,避免频繁调用。 如果您的华为云账号已升级为华为账号,将不支持获取账号Token。建议为您自己创建一个IAM用户,获取IAM用户的Token。 获取Token方法: Token可通过调用“获取Token”接口获取,接口调用示例如下。 伪码 POST https://iam.cn-southwest-2
“终端节点”章节查找。 参考IAM帮助文档,获取账号相关信息。 华为云Gallery托管三方模型 否 Gallery三方托管模型API调用URL。 华为云IAM账号认证信息。 三方大模型API参考文档: 申请资源时,可联系客户支持获取。 IAM帮助文档: https://support
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述
附录 状态码 错误码 获取项目ID 获取模型调用API地址
模型)来获取目标场景的数据,以此扩充您的数据集。为了能获取更高质量的数据,可以通过CoT(思维链)、self-instruct等方式批量调用大模型,来获取满足您要求的数据。 人工标注:如果以上两种方案均无法满足您的要求,您也可以使用“数据标注”功能,采用人工标注方式来获取数据。 父主题:
参见实名认证。 获取账号信息 在调用服务API、SDK时,需要将账号相关的信息作为API凭证传入代码。 API凭证主要包括:IAM用户名、IAM用户名ID、账号名、账号ID、项目ID、项目、所属区域。可登录控制台在“我的凭证 > API凭证”页面获取。 图1 获取账号信息 父主题:
验证。 登录“我的凭证”页面,获取“IAM用户名”、“账号名”以及待使用区域的“项目ID”。调用服务时会用到这些信息,请提前保存。 由于盘古大模型当前部署在“西南-贵阳一”区域,需要获取与“西南-贵阳一”区域对应的project id。 图3 获取user name、domain
优化工具描述 工具依赖的信息,可以通过其他工具获取时,增加关联关系提示: @AgentTool(toolId = "query_reimbursement_limit", toolDesc = "通过用户ID、用户单据、用户最大报销比例获取用户报销额度", toolPrinciple
平台资源管理 管理模型资产、推理资产 获取Token消耗规则
清洗数据集(可选) 清洗算子功能介绍 获取数据清洗模板 创建数据集清洗任务 父主题: 准备盘古大模型训练数据集
提示词工程 什么是提示词工程 获取提示词模板 撰写提示词 横向比较提示词效果 批量评估提示词效果 发布提示词
found:未找到x-auth-token参数。 token解析失败,请检查获取token的方法,请求体信息是否填写正确,token是否正确;检查获取token的环境与调用的环境是否一致。 token超时(token expires) ,请重新获取token,使用不过期的token。 请检查AK/SK
对任务的理解,而多样化的数据则帮助模型更好地应对各种情况。因此,数据的收集和处理是大模型训练中的关键环节。 盘古大模型套件平台通过提供数据获取、清洗、配比与管理等功能,确保构建高质量的训练数据。 父主题: 准备盘古大模型训练数据集
子任务,通过评估、自我反思等方式提升规划成功率。 记忆系统:通过构建记忆模块去管理历史任务和策略,并让Agent结合记忆模块中相关的信息以获取最优化任务解决策略。 任务执行:能通过工具与外界发生联系并产生影响,工具可以自定义,包括查询信息、调用服务、网络搜索、文件管理、调用云服务
子任务,通过评估、自我反思等方式提升规划成功率。 记忆系统:通过构建记忆模块去管理历史任务和策略,并让Agent结合记忆模块中相关的信息以获取最优化任务解决策略。 任务执行:能通过工具与外界发生联系并产生影响,工具可以自定义,包括查询信息、调用服务、网络搜索、文件管理、调用云服务