检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型的基础信息 盘古大模型平台为用户提供了多种规格的模型，涵盖从基模型到功能模型的多种选择，以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异，以下是当前支持的模型清单，您可以根据实际需求选择最合适的模型进行开发和应用。 表1 NLP大模型清单 模型类别 模型
配置AI助手工具 各种功能的API经封装后，将形成一个个工具，AI助手通过大模型来调用不同的工具，实现相应的功能。在创建AI助手前，需要将使用的功能封装为工具。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 工具管理”，单击页面右上角“创建工具”。 图1 工具管理
基于NL2JSON助力金融精细化运营 场景介绍 在金融场景中，客户日常业务依赖大量报表数据来支持精细化运营，但手工定制开发往往耗费大量人力。因此，希望借助大模型消除语义歧义性，识别用户查询意图，并直接生成支持下游操作的结构化JSON信息。大模型的NL2JSON能力可以从自然语言输
横向比较提示词效果 将设置为候选的两个提示词横向比较，获取提示词的差异性和效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务名称，跳转工程任务下候选提示词页面。 图1
创建AI助手 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > AI助手”，单击页面右上角“创建助手”。参考表1完成AI助手匹配。 表1 创建AI助手参数说明 参数分类 参数名称 参数说明 基本信息 助手名称 设置AI助手的名称。 描述 填写AI助手的描述，如填写功能介绍。
创建提示词工程 通过精心设计和优化提示词，可以引导大模型生成用户期望的输出，提示词工程任务的目标是通过设计和实施一系列的实验，来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程，用于对提示词的统一管理。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
什么是提示词工程 什么是提示词工程 提示工程是一个较新的学科，应用于开发和优化提示词（Prompt），帮助用户有效地将语言模型用于各种应用场景和研究领域。掌握提示词工程相关技能将有助于用户了解大型语言模型的能力和局限性。 提示工程不仅涉及设计和研发提示词，还包括与大型语言模型的交
配置知识库 大模型在进行训练时，使用的是通用的数据集，这些数据集没有包含特定行业的数据。通过知识库功能，用户可以将领域知识上传到知识库中，向大模型提问时，大模型将会结合知识库中的内容进行回答，解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
盘古自然语言大模型的适用场景有哪些 自然语言处理大模型是一种参数量极大的预训练模型，是众多自然语言处理下游任务的基础模型。学术界和工业界的实践证明，随着模型参数规模的增加，自然语言处理下游任务的效果显著提升，这得益于海量数据、大量算力以及深度学习的飞跃发展。 基于自然语言处理大模
创建子用户并授权使用盘古 如果您需要对华为云上购买的盘古资源，为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（IAM）并结合盘古大模型套件平台提供的“角色管理”功能实现精细的权限管理。 如果华为云账号已经能满足您的要求，不需要创建独立的
权限管理 如果您需要为企业员工设置不同的访问权限，以实现对华为云上购买的盘古大模型资源的权限隔离，可以使用统一身份认证服务（IAM）和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户（子用户）进行权限管理，可以跳过本章节，不影响您使用服务的其他功能。
如何调整推理参数，使模型效果最优 推理参数（解码参数）是一组用于控制模型生成预测结果的参数，其可以用于控制模型生成结果的样式，如长度、随机性、创造性、多样性、准确性和丰富度等等。 当前，平台支持的推理参数包括：温度、核采样以及话题重复度控制，如下提供了这些推理参数的建议值和说明，供您参考：
应用场景 智能客服 在政企场景中，传统的智能客服系统常受限于语义泛化能力和意图理解能力，导致用户需求难以准确捕捉，频繁转接至人工客服。这不仅增加了企业的运营成本，也影响了用户体验。盘古大模型的引入为这一问题提供了有效解决方案。 盘古大模型通过将客户知识数据转换为向量并存储在向量数
压缩盘古大模型 N2基础功能模型、N4基础功能模型、经有监督微调训练以及RLHF训练后的N2、N4模型可以通过模型压缩技术在保持相同QPS目标的情况下，降低推理时的显存占用。 采用INT8的压缩方式，INT8量化可以显著减小模型的存储大小与降低功耗，并提高计算速度。 模型经过量化
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装，通过该SDK可以处理用户的输入，生成模型的回复，从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答（多轮对话）（/chat/completions）
状态码 HTTP状态码为三位数，分成五个类别：1xx：相关信息；2xx：操作成功；3xx：重定向；4xx：客户端错误；5xx：服务器错误。 状态码如下所示。 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端，它的部分请求已经被服务器接收，且仍未被拒绝。
撰写提示词 提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息，如主题、风格和格式等。 撰写提示词时，可以设置提示词变量，即在提示词中通过添加占位符{{ }}标识，表示一些动态的信息，让模型根据不同的情况生成不同的文本，增加模型的灵活性和适应性。例如，将
使用API调用模型 用户可以通过API调用盘古大模型服务提供的基模型以及用户训练后的模型。训练后的模型需使用“在线部署”，才可以使用本章节提供的方法进行调用。本章节分别介绍使用Postman调用API和多语言（Java/Python/Go）调用API的方法，仅供测试使用。 前提条件
无监督的领域知识数据，量级无法支持增量预训练，如何让模型学习 一般来说，建议采用增量预训练的方式让模型学习领域知识，但预训练对数据量的要求较大，如果您的无监督文档量级过小，达不到预训练要求，您可以通过一些手段将其转换为有监督数据，再将转换后的领域知识与目标任务数据混合，使用微调的方式让模型学习。
数据量足够，但质量较差，可以微调吗 对于微调而言，数据质量非常重要。一份数据量少但质量高的数据，对于模型效果的提升要远大于一份数据量多但质量低的数据。若微调数据的质量较差，那么可能会导致模型学习到一些错误或者不完整的信息，从而影响模型的准确性和可靠性。因此，不建议您直接使用低质量数据进行微调。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
