检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提示词工程 什么是提示词工程 获取提示词模板 撰写提示词 横向比较提示词效果 批量评估提示词效果 发布提示词
横向比较提示词效果 设置候选提示词 横向比较提示词效果 父主题: 提示词工程
批量评估提示词效果 创建提示词评估数据集 创建提示词评估任务 查看提示词评估结果 父主题: 提示词工程
Python SDK 安装SDK 配置SDK LLMs(语言模型) Prompt(提示词模板) Memory(记忆) Skill(技能) Agent(智能代理) 应用示例 父主题: 盘古应用开发SDK
应用实践 基础问答 长文本摘要 Agent助手 父主题: 盘古应用开发SDK
系统: 任务规划:将复杂目标任务分解为小的可执行子任务,通过评估、自我反思等方式提升规划成功率。 记忆系统:通过构建记忆模块去管理历史任务和策略,并让Agent结合记忆模块中相关的信息以获取最优化任务解决策略。 任务执行:能通过工具与外界发生联系并产生影响,工具可以自定义,包括查
Skill(技能) 基础问答 多轮对话 文档问答 文档摘要 父主题: Python SDK
盘古应用开发SDK 盘古应用开发SDK简介 准备工作 Java SDK Python SDK 应用实践
模型能力与规格 模型的基础信息 模型支持的区域 模型支持的操作
API NLP大模型 Token计算器
准备盘古大模型训练数据集 训练数据集创建流程 模型训练所需数据量与数据格式要求 创建一个新的数据集 检测数据集质量 清洗数据集(可选) 发布数据集 创建一个训练数据集
清洗数据集(可选) 清洗算子功能介绍 获取数据清洗模板 创建数据集清洗任务 父主题: 准备盘古大模型训练数据集
创建训练任务 创建自监督微调训练任务 创建有监督训练任务 父主题: 训练盘古大模型
撰写提示词 创建提示词工程 撰写提示词 预览提示词效果 父主题: 提示词工程
Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询,通过向量和相似度的计算,实现对数据的语义理解和检索。 Vector向量存储:
Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询,通过向量和相似度的计算,实现对数据的语义理解和检索。 Vector向量存储:
模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 图1 模型训练列表 不同类型的训练方法可支持查看的训练指标有所差异,训练指标和训练方法的关系如下: 表1 训练指标和训练方法对应关系 训练指标\模型类型 自监督训练 有监督训练 训练损失值 √
与其他云服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务(Object Storage Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。
重要组成部分,具备数据获取、清洗、配比和管理等功能。该套件能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力,对原始数据进行优化,确保其质量和一致性。同时,数据工程套件还提供强大的数据存储和管理能力,为大模型训练提供高质量的数据支撑。
盘古大模型服务通过多种数据保护手段和特性,保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS