检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注册华为账号并开通华为云 注册华为账号并开通华为云 在使用华为云服务之前,您需要先注册华为账号并开通华为云。通过此账号,您可以按需付费,灵活使用所有华为云提供的服务。 进入华为云官网,参考账号注册指导及界面提示信息,完成账号注册。 注册成功后即可自动登录华为云,您需要完成“实名认
部署为边缘服务 边缘服务部署流程 边缘部署准备工作 注册边缘资源池节点 搭建边缘服务器集群 安装Ascend插件 订购盘古边缘部署服务 部署边缘模型 调用边缘模型 父主题: 部署盘古大模型
部署盘古大模型 部署为在线服务 部署为边缘服务
边缘部署准备工作 本指南的边缘部署操作以largemodel集群为例,示例集群信息如下表。 表1 示例集群信息 集群名 节点类型 节点名 规格 备注 largemodel controller ecs-edge-XXXX 鲲鹏通用计算型|8vCPUs|29GiB|rc3.2xlarge
模型推理资产”中单击操作列“续订”执行续订操作。 图3 续订模型推理资产 扩容模型推理资产 推理资产不足,现有资源无法满足同时部署多个模型时,可以扩容模型推理资产。 在“平台管理 > 资产管理 > 模型推理资产”中,单击操作列“扩容”执行扩容操作。 图4 扩容模型推理资产 不同类型的模型在部署时,做占用的推
Agent(智能代理),用于对复杂任务的自动拆解与外部工具调用执行,一般包括任务规划、记忆系统和执行系统。 任务规划:将复杂目标任务分解为小的可执行子任务,通过评估、自我反思等方式提升规划成功率。 记忆系统:通过构建记忆模块去管理历史任务和策略,并让Agent结合记忆模块中相关的信息以获取最优化任务解决策略。
用户就可以基于被授予的权限对云服务进行操作。 服务使用OBS存储训练数据和评估数据,如果需要对OBS的访问权限进行细粒度的控制。可以在盘古服务的委托中增加Pangu OBSWriteOnly、Pangu OBSReadOnly策略,控制OBS的读写权限。 表1 策略信息 策略名称
API NLP大模型 Token计算器
模型能力与规格 模型的基础信息 模型支持的区域 模型支持的操作
安全 责任共担 身份认证与访问控制 数据保护技术 审计 监控安全风险
准备盘古大模型训练数据集 训练数据集创建流程 模型训练所需数据量与数据格式要求 创建一个新的数据集 检测数据集质量 清洗数据集(可选) 发布数据集 创建一个训练数据集
清洗数据集(可选) 清洗算子功能介绍 获取数据清洗模板 创建数据集清洗任务 父主题: 准备盘古大模型训练数据集
创建训练任务 创建自监督微调训练任务 创建有监督训练任务 父主题: 训练盘古大模型
撰写提示词 创建提示词工程 撰写提示词 预览提示词效果 父主题: 提示词工程
Memory(记忆) Memory(记忆)模块结合外部存储为LLM应用提供长短期记忆能力,用于支持上下文记忆的对话、搜索增强等场景。 Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。缓存可以根据不同的存
Memory(记忆) Memory(记忆)模块结合外部存储为LLM应用提供长短期记忆功能,用于支持上下文记忆的对话、搜索增强等场景。 Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。缓存可以根据不同的存
使用前必读 概述 调用说明 终端节点 基本概念
NLP大模型 文本补全 多轮对话 父主题: API
体验盘古大模型功能 申请体验盘古大模型服务 体验盘古预置模型能力 体验盘古驱动的应用百宝箱
大模型概念类问题 大模型是什么 大模型的计量单位token指的是什么 大模型是否可以自定义人设 盘古自然语言大模型的适用场景有哪些 大模型的安全性需要从哪些方面展开评估和防护 训练智能客服系统大模型需要考虑哪些方面