检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取数据清洗模板 在清洗数据时，用户可以通过组合不同的数据清洗算子来实现数据清洗功能。平台提供了多种数据清洗模板，用户可以直接套用这些模板进行数据清洗。 数据清洗模板获取方式如下： 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”，进入“清洗模板”页面，在该页面查看预置的数据清洗模板。
在系统运行时动态构建，即在运行态定义与实例化。 StaticTool（静态工具） 静态工具可以通过注解的方式新增，在run接口中实现工具的功能，例如： import com.huaweicloud.pangu.dev.sdk.api.annotation.AgentTool; import
盘古应用开发SDK概述 应用开发SDK概述 应用开发SDK针对大模型应用开发场景，对大语言模型进行封装，提供了语言模型、提示词模板、记忆、技能、智能代理等功能模块，简化用户的开发工作，帮助用户快速开发一个大模型应用。当前应用开发SDK支持如下语言： Python Java 开发环境要求 华为云盘古大模型应用开发SDK要求Python
时动态构建，即在运行态定义与实例化。 StaticTool（静态工具） 静态工具可以通过继承Tool的方式新增，在_run接口中实现工具的功能，例如： from typing import Type from pangukitsappdev.tool.tool import Tool
Loss曲线：通过Loss曲线的变化趋势来评估训练效果，确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估：使用平台的“模型评估”功能，“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标，进行横向（相同训练数据+不同规格的通
云审计服务（Cloud Trace Service，CTS）是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。
迁移盘古大模型 模型训练完成后，可以通过迁移（导入模型、导出模型）功能将本局点训练的模型导出，或将其他局点训练的模型导入本局点进行使用。 支持迁移操作的模型可以在“模型开发 > 模型管理 > 我的模型”中查看。 图1 模型管理 导入/导出模型 以从环境A迁移模型到环境B为例： 登
搭建数据清洗流程 将算子拖拽至“输入”、“输出”之间，即可完成清洗流程的搭建，搭建过程中可以通过“执行节点”功能查看算子对数据的清洗效果。算子功能的详细介绍请参见清洗算子功能介绍。 图3 执行节点 用户配置算子后推荐增加、显示备注信息，用于团队其他成员快速了解算子编排。 图4 增加并显示备注信息
NLP大模型提供了基模型和功能模型两种类型： 基模型：已经在大量数据上进行了预训练，学习并理解了各种复杂特征和模式。这些模型可以作为其他任务的基础，例如阅读理解、文本生成和情感分析等。基模型本身不具备对话问答能力。 功能模型：在基模型的基础上进行微调，以适应特定任务。功能模型具备对话问答能
配置知识库 大模型在进行训练时，使用的是通用的数据集，这些数据集没有包含特定行业的数据。通过知识库功能，用户可以将领域知识上传到知识库中，向大模型提问时，大模型将会结合知识库中的内容进行回答，解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
力以及深度学习的飞跃发展。 基于自然语言处理大模型的预训练模型，可以根据业务需求开发出诸如营销文案生成、阅读理解、智能对话和代码生成等应用功能。 父主题： 大模型概念类问题
闭卷问答等任务。 多轮对话：提供多轮文本能力，常用于多轮对话、聊天任务。 图1 服务管理 图2 申请开通服务 您可按照需要选择是否开启内容审核。 开启内容审核后，可以有效拦截大模型输入、输出的有害信息，保障模型调用安全。 NLP模型在流式输出时，同样支持内容审核。特别是模型生成超
参考数据配比功能介绍。 在训练数据集配比完成后，在单击“创建”或后续修改保存时，会对数据集的有效数据进行统计，确保满足模型训练的要求。 图3 数据配置 基本配置 填写训练数据集名称和描述，选择数据标签。 图4 基本配置 参数填选完成后，单击“立即创建”。 数据配比功能介绍 用户针
模型评估 模型压缩 在线推理 盘古-NLP-N1-基础功能模型-32K - √ - √ √ 盘古-NLP-N2-基础功能模型-4K - √ √ √ √ 盘古-NLP-N2-基础功能模型-32K - √ √ - √ 盘古-NLP-N4-基础功能模型-4K - √ - √ √ 盘古-NLP-BI专业大模型-4K
（从参数盘古大模型暂不支持） stream: Optional[bool] # 是否开启流式调用 流式问答（只适用于ask接口）：模型问答，开启流式效果，响应消息流式打印。 import sys from pangukitsappdev.api.llms
期的大模型工具链。 盘古大模型为开发者提供了一种简单高效的方式来开发和部署大模型。通过数据工程、模型开发和应用开发等功能套件，帮助开发者充分发挥盘古大模型的强大功能。企业可根据自身需求选择合适的大模型相关服务和产品，轻松构建自己的模型。 数据工程套件 数据是大模型训练的基础，为大
token比（token/汉字） N1系列模型 0.75 1.5 N2系列模型（不包含盘古-NLP-N2-基础功能模型-4K-Preview） 0.88 1.24 盘古-NLP-N2-基础功能模型-4K-Preview 0.86 1.69 N3系列模型 0.77 1 N4系列模型 0.75 1
畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答（多轮对话）（/chat/completions） Java、Python、Go、.NET、NodeJs 基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。 通用文本（
配置Memory(Python SDK) Memory（记忆）模块结合外部存储为LLM应用提供长短期记忆功能，用于支持上下文记忆的对话、搜索增强等场景。 Memory（记忆）支持多种不同的存储方式和功能。 Cache缓存：是一种临时存储数据的方法，它可以提高数据的访问速度和效率。缓存可以根据不
清洗数据集（可选） 清洗算子功能介绍 获取数据清洗模板 创建数据集清洗任务 父主题： 准备盘古大模型训练数据集
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
