检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署盘古大模型 部署为在线服务 部署为边缘服务
/** * Agent返回的最终答案(最后一个AgentAction的输出) */ private String finalAnswer = ""; /** * 本次session的用户query */ private
用范围。 IAM权限 默认情况下,管理员创建的IAM用户(子用户)没有任何权限,需要将其加入用户组,并对用户组授权,才能使得用户组中的用户获得对应的权限。授权后,用户就可以基于被授予的权限对云服务进行操作。 服务使用OBS存储训练数据和评估数据,如果需要对OBS的访问权限进行细粒
盘古应用开发SDK 盘古应用开发SDK简介 准备工作 Java SDK Python SDK 应用实践
体验盘古大模型功能 申请体验盘古大模型服务 体验盘古预置模型能力 体验盘古驱动的应用百宝箱
Agent运行Session,包含历史Action,当前Action,状态 Attributes: messages: 本次session的用户的输入 session_id: UUID,在一个session内唯一 current_action: 当前Action
以从环境A迁移模型到环境B为例: 登录环境B的盘古大模型套件平台,在“模型开发 > 模型管理”页面,单击右上角的“模型迁移”。 在“模型迁移”页面,下载用户证书。 图2 下载用户证书 登录环境A的盘古大模型套件平台,在“模型迁移”页面,选择“导出模型”,在导入证书的地方上传环境B下载的证书文件,并选择需要导出的模型和模型导出的obs路径。
撰写提示词 创建提示词工程 撰写提示词 预览提示词效果 父主题: 提示词工程
AgentSession。 set_tool_output:向Agent的当前步骤设置工具返回结果。 set_user_feedback:向Agent的当前步骤设置用户反馈。 打印结果为: 用户: 请帮我查一下方欣科技有限公司今年1月的经营异常风险 助手: 根据企业健康体检工具的
大模型是否可以自定义人设 大模型支持设置人设,在用户调用对话问答(chat/completions)API时,可以将“role”参数设置为system,让模型按预设的人设风格回答问题。例如,以下示例要求模型以幼儿园老师的风格回答问题。 { "messages": [
务、网络搜索、文件管理、调用云服务等,通过Agent构建一个让LLM按照特定的规则迭代运行的Prompt,直到任务完成或者达到终止条件(如设置迭代次数)。 实例化Tool 实例化Agent 运行Agent 监听Agent Agent效果优化 Agent流式输出 Tool Retriever
应用实践 基础问答 长文本摘要 Agent助手 父主题: 盘古应用开发SDK
l集群为例,示例集群信息如下表。 表1 示例集群信息 集群名 节点类型 节点名 规格 备注 largemodel controller ecs-edge-XXXX 鲲鹏通用计算型|8vCPUs|29GiB|rc3.2xlarge.4镜像 EulerOS 2.9 64bit with
初始化盘古LLM LLM llm = LLMs.of(LLMs.PANGU); 基础问答:基础的模型文本问答,temperature等参数采用模型默认的设置。 llm.ask("你是谁?").getAnswer(); 同时调用多个不同的LLM。 final LLMConfig config =
地处理文案生成、阅读理解和代码生成等任务。 功能模型无需额外训练即可直接用于客户任务,而基模型则需要经过微调训练才能应用。NLP大模型不仅支持预训练和微调,还可以通过如下训练途径来构建满足客户需求的“用户模型”。 图1 NLP大模型训练方式与流程 除基模型、功能模型这两种模型划分
cache_value = cache.lookup("1+1") 清理数据:删除用户cache会话下缓存中的数据。例如,删除所有缓存数据,参考示例如下: # 清理 cache.clear() 参数解释:用于设置缓存对象的一些基本信息,如过期时间、session_tag等。 expire_after_access:
数据配比功能介绍 用户针对业务场景,可以通过数据配比功能,自由组合多个数据集,并控制数据占比。 数据集来源:用户自己创建并且已经发布的数据集。 数据集组合:选择多个数据集,并且可以指定数据之间的配比和条数,最大支持20个。 配比的作用:支持用户灵活调整数据集的比例。 比例:用户自己创建的
评估概览:查看此次评估任务的各个规则指标评分情况。 模型结果分析:查看各个模型此次评估任务的基于各个指标的评分情况,以及具体到某条数据的打分情况。 用户可以将此次的评估报告通过导出按钮全部导出至本地存储,文件导出格式为CSV。 图3 评估报告页面 评估日志: 平台支持查看本次模型评估任务的
开通盘古大模型服务 开通大模型的文本补全、多轮对话能力。 开通盘古大模型服务 配置授权/创建子用户 配置盘古访问OBS服务权限,多用户使用平台情况下需要创建子用户。 配置盘古访问授权 创建子用户并授权使用盘古 准备训练数据 创建一个新的数据集 创建一个新的数据集,用来管理上传至平台的训练或者评测数据。
务、网络搜索、文件管理、调用云服务等,通过Agent构建一个让LLM按照特定的规则迭代运行的Prompt,直到任务完成或者达到终止条件(如设置迭代次数)。 实例化Tool 实例化Agent 运行Agent 监听Agent Agent流式输出 Tool Retriever 父主题: