检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已购资产:由用户购买的推理资源,实际可用推理单元由购买时的数量决定。 实例数 实例数越大,能够同时处理的请求数量越多。 高级配置 选择盘古-NLP-N4系列模型时显示,配置最大Token长度。 服务名称 在线服务的名称。 描述 在线服务的简要描述。
图3 大模型内容审核 购买内容审核套餐包时,如果使用“文本补全”和“多轮对话”功能,需要选择“文本内容审核”套餐。 父主题: 准备工作
创建子用户并授权使用盘古 如果您需要对华为云上购买的盘古资源,为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(IAM)并结合盘古大模型套件平台提供的“角色管理”功能实现精细的权限管理。
现在就单击下方链接,购买一只给宝贝一个最温暖的拥抱吧!"} 数据量级要求:本场景使用了5000条数据进行微调。 说明:类似场景需要的微调数据量视具体情况而定。
如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中购买资源,然后以子项目为单位进行授权,使得用户仅能访问特定子项目中资源,使得资源的权限控制更加精确。 图1 项目隔离模型 父主题: 使用前必读
单步执行 有时并不希望Agent完全自主执行,在某些关键节点,让用户先进行确认,确认后再执行,或者用户对模型的结果有异议或者想法有变化,想对当前结果进行更改。
参考终端节点章节获取endpoint,并在接口的URI部分找到resource-path(/v1/{project_id}/deployments/{deployment_id}/text/completions),其中{project_id}需要替换成用户的项目ID。
IAM endpoint需要根据服务所在的区域正确配置,参考帮助文档“终端节点”章节查找。 参考IAM帮助文档,获取账号相关信息。 华为云Gallery托管三方模型 否 Gallery三方托管模型API调用URL。 华为云IAM账号认证信息。
add(ConversationMessage.builder().role(Role.USER).content(userMessage).build()); } return agentSession; } 单步执行 有时并不希望Agent完全自主执行,在某些关键节点
迁移盘古大模型 模型训练完成后,可以通过迁移(导入模型、导出模型)功能将本局点训练的模型导出,或将其他局点训练的模型导入本局点进行使用。 支持迁移操作的模型可以在“模型开发 > 模型管理 > 我的模型”中查看。 图1 模型管理 导入/导出模型 以从环境A迁移模型到环境B为例: 登录环境
补说明 对任务进行补充说明,如补充任务要求、规范输出的格式等。将想要的逻辑梳理表达出来,会让生成效果更加符合预期。说明需要逻辑清晰、无歧义。 设计任务要求 要求分点列举: 要求较多时需要分点列举,可以使用首先\然后,或1\2\3序号分点提出要求。每个要求步骤之间最好换行(\n)分隔断句
设置背景及人设 背景: 模型基于简单prompt的生成可能是多范围的各方向发散的,如果您需要进行范围约束,或加强模型对已有信息的理解,可以进行提示:“结合xxx领域的专业知识...理解/生成...”、“你需要联想与xxx相关的关键词、热点信息、行业前沿热点等...生成...”,或者可以说明已有的信息是什么领域的信息
启用盘古大模型搜索增强能力 大模型在训练时使用的是静态的文本数据集,这些数据集通常是包含了截止到某一时间点的所有数据。因此,对于该时间点之后的信息,大模型可能无法提供。 通过将大模型与盘古搜索结合,可以有效解决数据的时效性问题。当用户提出问题时,模型先通过搜索引擎获取最新的信息,并将这些信息整合到大模型生成的答案中
开通API 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本补全:给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全。例如让模型依据要求写邮件、做摘要总结、生成观点见解等。 多轮对话
横向比较提示词效果 将设置为候选的两个提示词横向比较,获取提示词的差异性和效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务名称,跳转工程任务下候选提示词页面。 图1
无监督的领域知识数据,量级无法支持增量预训练,如何让模型学习 一般来说,建议采用增量预训练的方式让模型学习领域知识,但预训练对数据量的要求较大,如果您的无监督文档量级过小,达不到预训练要求,您可以通过一些手段将其转换为有监督数据,再将转换后的领域知识与目标任务数据混合,使用微调的方式让模型学习
Agent助手 应用介绍 通过模型对复杂任务的自动拆解与外部工具调用执行能力,通过与用户多轮对话,实现会议室预订场景。 环境准备 Java 1.8。 参考安装章节,完成基础环境准备。 盘古大语言模型。 开发实现 创建配置文件llm.properties, 正确配置iam、pangu
使用“能力调测”调用模型 前提条件 使用能力调测调用模型之前,需要进行开通盘古大模型服务操作。 使用“能力调测”调用模型 能力调测通过图形化问答界面,提供了快速访问盘古大模型能力的入口。用户可以通过在“能力调测”页面选择调用基模型或训练后的模型。 训练后的模型需要“在线部署”且状态为
数据量很少,可以微调吗 不同规格的模型对微调的数据量都有相应要求。 如果您准备用于微调的数据量很少,无法满足最小的量级要求,那么不建议您直接使用该数据进行微调,否则可能会存在如下问题: 过拟合:当微调数据量很小时,为了能充分学习这些数据的知识,可能会训练较多的轮次,因而模型会过分记住这些数据
清洗算子功能介绍 数据清洗是提高数据质量的重要环节,包括去除异常的字符、去除表情符号和去除个人敏感内容等,经过清洗的数据可以提升训练阶段的稳定性。 平台支持通过以下清洗能力: 表1 清洗算子说明 算子类型 功能 说明 数据转换 全角转半角 将文本中的所有全角字符转换成半角字符。 中文繁简体互转