正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Agent(智能代理) Agent(智能代理),用于对复杂任务的自动拆解与外部工具调用执行,一般包括任务规划、记忆系统和执行系统。 任务规划:将复杂目标任务分解为小的可执行子任务,通过评估、自我反思等方式提升规划成功率。 记忆系统:通过构建记忆模块去管理历史任务和策略,并让Age
模型能力与规格 模型的基础信息 模型支持的区域 模型支持的操作
安全 责任共担 身份认证与访问控制 数据保护技术 审计 监控安全风险
API NLP大模型
型API的适配封装,提供统一的接口快速地调用CSS等模型emebedding能力。 初始化:根据相应模型定义Emebedding类,如使用华为CSS Embedding为:Embeddings.of("css");。 from pangukitsappdev.api.embeddings
本场景采用了下表中的推理参数进行解码,您可以在平台部署后参考如下参数调试: 表3 推理核心参数设置 推理参数 设置值 最大Token限制(max_token) 4096 温度(temperature) 0.3 核采样(top_p) 1.0 话题重复度控制(presence_penalty) 0 部署推理服务后,可以
实际消耗的Tokens数量乘以Tokens单价计费,系统将每小时自动扣费。 变更配置 盘古NLP大模型的模型订阅服务和推理服务默认采用包周期计费,训练服务则默认采用按需计费。使用周期内不支持变更配置。 欠费 在使用云服务时,如果账户的可用额度低于待结算账单金额,即被判定为账户欠费
环境准备 python3.9 及以上版本。 安装依赖的组件包, pip install pangu_kits_app_dev_py gradio。 盘古大语言模型。 开发实现 创建配置文件llm.properties, 正确配置iam和pangu配置项。信息收集请参考准备工作。 # # Copyright
本场景采用了下表中的推理参数进行解码,您可以在平台部署后参考如下参数调试: 表2 推理核心参数设置 推理参数 设置值 最大Token限制(max_token) 1024 温度(temperature) 0.3 核采样(top_p) 0.8 话题重复度控制(presence_penalty) 0 部署推理服务后,可以
概述 盘古大模型整合华为云强大的计算和数据资源,将先进的AI算法集成在预训练大模型中,打造出具有深度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 华为云盘古大模型,以下功能支持API调用。 表1 API清单 API 功能 NLP-文本补全 给定一个
步处理并最终输出答案,展示在前端界面。 在该框架中,query改写模块、中控模块和问答模块由大模型具体实现,因此涉及到大模型的训练、优化、部署与调用等流程。pipeline编排流程可以基于python代码实现,也可以人工模拟每一步的执行情况。检索模块可以使用Elastic Sea
python3.9 及以上版本。 安装依赖的组件包, pip install pangu_kits_app_dev_py gradio python-docx。 盘古大语言模型。 开发实现 创建配置文件llm.properties, 正确配置iam和pangu配置项。信息收集请参考准备工作。
长文本摘要 场景介绍 切割长文本,利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
基本概念 账号 用户注册华为云时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云
长文本摘要 场景介绍 切割长文本,利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
挂知识库(Embedding、向量库)方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url= sdk
挂知识库(Embedding、向量库)方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url= sdk
模型评估”。 单击界面右上角“创建评估任务”,进入评估任务创建页面。 图1 模型评估列表页面 填写评估任务所需的评估配置、评估数据和基本信息。 图2 创建评估任务 评估配置: 待评估模型:支持选择多个模型版本同时评估,最多选择5个。待评估模型必须符合前提条件。 评估资源:依据选择的模型数据自动给出所需的评估资源。
描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
prompts -- default -- documents -- stuff.pt # 配置sdk配置项,指定prompt文件绝对路径,以 /home 路径为例 sdk.prompt.path=/home/prompts/default