检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上下文记忆的对话、搜索增强等场景。 Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询,通过向量和相似度的计算,实现对数据的语义理解和检索。
一站式解决方案。 通过使用盘古大模型套件平台,您将体验从数据准备到模型应用的全流程一站式服务,将模型高效集成至您的业务流程中。接下来,将详细介绍该平台的使用流程,帮助您充分发挥盘古大模型套件平台的潜力。 图1 盘古大模型套件使用流程 表1 使用流程说明 流程 子流程 说明 操作指导
simpleLogger.showShortLogName=false 配置文件敏感信息加密配置 配置项中的密码等字段需要加密存储时,可以自定义实现解密方法。 实现解密类 // 配置类实现 public class CryptoCustom implements ConfigCryptor
在“服务管理”页面,单击所需API的“查看详情”按钮。 图1 服务管理 在“服务列表”中选择需要调用的模型,单击操作栏中的“调用路径”,复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古API过程中,Token起到了身份验证和权限管理的作用。 在调用盘古AP
搜索增强 场景介绍 私有化场景下,大模型需要基于现存的私有数据提供服务。通过外挂知识库(Embedding、向量库)方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
搜索增强 场景介绍 私有化场景下,大模型需要基于现存的私有数据提供服务。通过外挂知识库(Embedding、向量库)方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
搭结构 提示词的结构需要尽可能直观,不要将指令、上下文、说明等内容放在一行输入,适当的换行将提示词的内容结构拆分体现出来。一个结构清晰的提示词输入,能够让模型更好地理解您的意图。 另外,上下文可以用'''xxx'''三引号区隔开,以防止指令冲突。在如下的闭卷问答任务中,文本中部分
在该页面可以查看评估状态。 图1 查看评估状态 单击评估名称,进入评估任务详情页,可以查看详细的评估进度。例如,在图2中有10条评估用例,当前已经评估了8条,剩余2条待评估。 图2 查看评估进展 评估完成后,进入“评估报告”页面,可以查看每条数据的评估结果。 在评估结果中,“预
在“服务管理”页面,单击所需API的“查看详情”按钮。 图1 服务管理 在“模型列表”中选择需要调用的模型,单击操作栏中的“调用路径”,复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古API过程中,Token起到了身份验证和权限管理的作用。 在调用盘古AP
以生成较短和较简洁的回复,但也可能导致生成不完整或不连贯的内容,请避免该值小于10,否则可能生成空值或极差的效果。因此,需要根据不同的场景和需求来选择合适的参数值。 话题重复度控制 用于调整模型对新令牌(Token)的处理方式。即如果一个Token已经在之前的文本出现过,那么模型
操作。 使用“能力调测”调用模型 能力调测通过图形化问答界面,提供了快速访问盘古大模型能力的入口。用户可以通过在“能力调测”页面选择调用基模型或训练后的模型。 训练后的模型需要“在线部署”且状态为“运行中”时,才可以使用本章节提供的方法进行调测,具体步骤请参见部署为在线服务。 文
华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华
以生成较短和较简洁的回复,但也可能导致生成不完整或不连贯的内容,请避免该值小于10,否则可能生成空值或极差的效果。因此,需要根据不同的场景和需求来选择合适的参数值。 话题重复度控制 用于调整模型对新令牌(Token)的处理方式。即如果一个Token已经在之前的文本出现过,那么模型
长文本摘要 场景介绍 切割长文本,利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
长文本摘要 场景介绍 切割长文本,利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
绑定。当用户向AI助手提问时,大模型就会根据用户的问题自动规划调用相应工具,从而实现对应的功能。 AI助手具备以下核心功能: 大模型调用能力:AI助手可以根据特定的指令调用NLP大模型,以改变AI助手的回复方式,使其更好地响应用户的需求。例如,让AI助手表现得更加友好、专业,或者更加幽默。
LLMs.of("pangu") 基础问答:基础的模型文本问答(temperature等参数采用模型默认的设置)。 llm_api.ask("你是谁?").answer 自定义参数问答:自定义设置如temperature等参数,获得对应的效果。 from pangukitsappdev
基础问答 应用介绍 基础的大语言模型问答场景。涉及模型问答,流式效果等相关特性。 环境准备 python3.9 及以上版本。 安装依赖的组件包, pip install pangu_kits_app_dev_py gradio。 盘古大语言模型。 开发实现 创建配置文件llm.properties,
生成的内容结尾必须要引导观众购买; 6.生成的内容必须紧扣产品本身,突出产品的特点,不能出现不相关的内容; 7.生成的内容必须完整,必须涵盖产品介绍中的每个关键点,不能丢失任何有价值的细节; 8.生成的内容必须符合客观事实,不能存在事实性错误; 9.生成的内容必须语言通顺; 10.生成的内容中不能出现“带货口播”等这一类字样;
等相关特性。 环境准备 python3.9 及以上版本。 安装依赖的组件包, pip install pangu_kits_app_dev_py gradio python-docx。 盘古大语言模型。 开发实现 创建配置文件llm.properties, 正确配置iam和pangu配置项。信息收集请参考准备工作。