检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
压缩盘古大模型 N2基础功能模型、N4基础功能模型、经有监督微调训练以及RLHF训练后的N2、N4模型可以通过模型压缩技术在保持相同QPS目标的情况下，降低推理时的显存占用。 采用INT8的压缩方式，INT8量化可以显著减小模型的存储大小与降低功耗，并提高计算速度。
例如，需要构建一个企业助理应用，该应用需要具备预定会议室、创建在线文档和查询报销信息等功能。在构建此应用时，需要将预定会议室与创建在线文档等功能的API接口定义为一系列的工具，并通过AI助手，将这些工具与大模型进行绑定。
意图匹配 应用场景说明：智能客服系统中，大模型将客户问题匹配至语义相同的FAQ问题标题，并返回标题内容，系统根据匹配标题调出该FAQ问答对，来解答客户疑问。 父主题： 写作示例
配置Prompt(Python SDK) 提示词模板模块提供模板格式化、自定义配置管理功能。
配置Prompt(Java SDK) 提示词模板模块提供模板格式化、自定义配置、few-shot管理功能。
多轮对话 功能介绍 基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。
华为云盘古大模型，以下功能支持API调用。 表1 API清单 API 功能 NLP-文本补全 给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全。它可以用来做文本生成、自动写作、代码补全等任务。
图2 设置输入参数 填写输入参数时，deployment_id为模型部署ID，可以在盘古大模型套件平台“服务管理”功能中获取。 图3 服务管理 图4 获取deployment_id
"; case "y公司": return "y亿人民币"; case "z公司": return "z亿人民币"; default:
应用场景 智能客服 在政企场景中，传统的智能客服系统常受限于语义泛化能力和意图理解能力，导致用户需求难以准确捕捉，频繁转接至人工客服。这不仅增加了企业的运营成本，也影响了用户体验。盘古大模型的引入为这一问题提供了有效解决方案。 盘古大模型通过将客户知识数据转换为向量并存储在向量数据库中
获取数据清洗模板 在清洗数据时，用户可以通过组合不同的数据清洗算子来实现数据清洗功能。平台提供了多种数据清洗模板，用户可以直接套用这些模板进行数据清洗。 数据清洗模板获取方式如下： 登录盘古大模型套件平台。
训练后的模型只有在使用“在线部署”功能时，才可以使用本章节提供的方法进行调用。本章节将介绍如何使用Postman调用API，仅供测试使用。 前提条件 使用API调用模型前，请先完成盘古大模型服务订购和开通操作。 使用Postman调用API 获取API请求地址。
StaticTool（静态工具） 静态工具可以通过继承Tool的方式新增，在_run接口中实现工具的功能，例如： from typing import Type from pangukitsappdev.tool.tool import Tool from pydantic import
盘古应用开发SDK概述 应用开发SDK概述 应用开发SDK针对大模型应用开发场景，对大语言模型进行封装，提供了语言模型、提示词模板、记忆、技能、智能代理等功能模块，简化用户的开发工作，帮助用户快速开发一个大模型应用。
审计 云审计服务（Cloud Trace Service，CTS）是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。
迁移盘古大模型 模型训练完成后，可以通过迁移（导入模型、导出模型）功能将本局点训练的模型导出，或将其他局点训练的模型导入本局点进行使用。 支持迁移操作的模型可以在“模型开发 > 模型管理 > 我的模型”中查看。
图2 搭建数据清洗流程 将算子拖拽至“输入”、“输出”之间，即可完成清洗流程的搭建，搭建过程中可以通过“执行节点”功能查看算子对数据的清洗效果。算子功能的详细介绍请参见清洗算子功能介绍。 图3 执行节点 用户配置算子后推荐增加、显示备注信息，用于团队其他成员快速了解算子编排。
模型评估：使用平台的“模型评估”功能，“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标，进行横向（相同训练数据+不同规格的通用模型）或纵向（不同训练数据训练的多个模型版本）对比来判断训练过程是否出现了问题。
盘古-NLP-N2-基础功能模型-4K 4096 基于NLP-N2-基模型训练的基础功能模型，具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力。
多轮对话：基于对话问答功能，用户可以与模型进行自然而流畅的对话和交流。 图1 服务管理 图2 申请开通服务 您可按照需要选择是否开启内容审核。 开启内容审核后，可以有效拦截大模型输入输出的有害信息，保障模型调用安全，推荐进行开启。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
