检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（IAM）并结合盘古大模型套件平台提供的“角色管理”功能实现精细的权限管理。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户（子用户）进行权限管理，您可以跳过本章节，不影响您使用盘古的其他功能。
选择模型与训练方法 NLP大模型 NLP大模型主要用于处理和理解人类语言，能够实现对话问答、文案生成和阅读理解等任务，并具备逻辑推理、代码生成以及插件调用等高阶能力。 NLP大模型提供了基模型和功能模型两种类型： 基模型：已经在大量数据上进行了预训练，学习并理解了各种复杂特征和模
权限管理 如果您需要为企业员工设置不同的访问权限，以实现对华为云上购买的盘古大模型资源的权限隔离，可以使用统一身份认证服务（IAM）和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户（子用户）进行权限管理，可以跳过本章节，不影响您使用服务的其他功能。
能将有助于用户了解大型语言模型的能力和局限性。 提示工程不仅涉及设计和研发提示词，还包括与大型语言模型的交互和研发中的各种技能和技术。它在实现和对接大型语言模型、理解其能力方面扮演着关键角色。用户可以通过提示工程提高语言模型的安全性，也可以通过专业领域知识和外部工具赋能语言模型，增强其能力。
长文本摘要 场景介绍 切割长文本，利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息，根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
度的计算，实现对数据的语义理解和检索。 Vector向量存储：是一种将数据转换为数学表示的方法，它可以度量数据之间的关系和相似度。向量存储可以根据不同的词向量模型进行初始化、更新、查找和清理操作。向量存储还可以支持多种相似算法，如余弦相似度、欧氏距离、曼哈顿距离等，实现对数据的相似度评分和排序。
度的计算，实现对数据的语义理解和检索。 Vector向量存储：是一种将数据转换为数学表示的方法，它可以度量数据之间的关系和相似度。向量存储可以根据不同的词向量模型进行初始化、更新、查找和清理操作。向量存储还可以支持多种相似算法，如余弦相似度、欧氏距离、曼哈顿距离等，实现对数据的相似度评分和排序。
长文本摘要 场景介绍 切割长文本，利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息，根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
开启内容审核后，可以有效拦截大模型输入输出的有害信息，保障模型调用安全，推荐进行开启。 图3 大模型内容审核 盘古大模型支持通过对接内容审核，实现拦截大模型输入、输出的有害信息，保障模型调用安全。用户在开通API后，可依据需求选择是否开通、启用内容审核。 父主题： 如何调用REST API
答案，展示在前端界面。 在该框架中，query改写模块、中控模块和问答模块由大模型具体实现，因此涉及到大模型的训练、优化、部署与调用等流程。pipeline编排流程可以基于python代码实现，也可以人工模拟每一步的执行情况。检索模块可以使用Elastic Search来搭建，也
enabled= 日志打印配置 SDK日志采用slf4j框架，业务项目中可以使用logback、log4j、slf4j默认等具体实现（实现任一即可）。 通过logback实现。 参考以下代码在pom文件中引入logback相关依赖（建议 1.3.1--1.3.8 版本）。 <dependency>
开启内容审核后，可以有效拦截大模型输入输出的有害信息，保障模型调用安全，推荐进行开启。 图3 大模型内容审核 盘古大模型支持通过对接内容审核，实现拦截大模型输入、输出的有害信息，保障模型调用安全。用户可依据需求选择是否开通、启用内容审核。 推荐用户购买内容审核套餐包，购买内容审核套餐包时，需要选择“文本内容审核”套餐。
有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭证”页面，获取“IAM用户名”、“账号名”以及待使用区域的“项目ID”。调用服务时会用到这些信息，请提前保存。 由
私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM 认证信息，根据实际填写
私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM 认证信息，根据实际填写
训练完成后评估模型的回答效果。 创建模型评估任务 查看模型评估结果 查看模型评估指标和评估结果。 查看评估任务详情 模型压缩 - 通过模型压缩技术实现同等QPS目标下，降低推理显存占用。 压缩盘古大模型 模型部署 - 对模型执行部署操作。 部署盘古大模型 模型调用 使用“能力调测”调用模型
的作用。 在调用盘古API前，需要先使用“获取Token”接口，获取Token值，再将Token值传入盘古API的请求header参数中，实现盘古服务在接收到用户的API请求时进行身份验证。 关于Token有效期的详细说明请参见获取IAM用户Token（使用密码）。 获取token步骤如下：
发效率。 盘古大模型能够根据用户给定的题目，快速生成高质量的代码，支持Java、Python、Go等多种编程语言。它不仅能够提供完整的代码实现，还能够根据用户的需求，进行代码补全和不同编程语言之间的改写转化。 借助盘古大模型，程序员可以更加专注于创新和设计，而无需过多关注繁琐的编
式大模型开发与应用平台。平台支持大模型的定制开发，提供全生命周期工具链，帮助开发者高效构建与部署模型，企业可灵活选择适合的服务与产品，轻松实现模型与应用的开发。 公测 产品介绍 2 盘古大模型「应用百宝箱」上线 应用百宝箱是盘古大模型为用户提供的便捷AI应用集，首批支持14个开箱
定义为一系列的工具，并通过AI助手，将这些工具与大模型进行绑定。当用户向AI助手提问时，大模型就会根据用户的问题自动规划调用相应工具，从而实现对应的功能。 AI助手具备以下核心功能： 大模型调用能力：AI助手可以根据特定的指令调用NLP大模型，以改变AI助手的回复方式，使其更好地
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
