正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
prompts -- default -- documents -- stuff.pt // 配置sdk配置项,指定prompt文件根路径,以 /home 目录下为例 sdk.prompt.path=/home/prompts/default
范围见模型API规范 top_p: Optional[float] # 核采样值, 和temperature不同时配置 presence_penalty: Optional[float] # 存在惩罚,增加模型谈论新主题的可能性,范围见具体模型API规范
理等功能模块,简化用户的开发工作,帮助用户快速开发一个大模型应用。当前应用开发SDK支持如下语言: Java Python 开发环境要求 华为云盘古大模型应用开发SDK要求JAVA SDK 1.8及其以上版本,Python 3.9及以上版本。 父主题: 盘古应用开发SDK
个字段,很可能是因为用户使用的jackson版本太老导致。 建议客户本地将jackson版本升级到和华为云java sdk一致,jackson版本要求请见pom.xml。 引用华为云java sdk的bundle包来解决jackson版本冲突的问题。 <dependency>
给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全,还可以返回每个位置上不同词语的概率。它可以用来做文本生成、自动写作、代码补全等任务。 开发环境要求 华为云盘古大模型推理SDK要求: Java SDK适用于JDK 1.8及其以上版本。 Python SDK适用于Python3及以上版本。 Go
NLP模型在训练后可以同时具备文本生成、情感分析等多种能力。 进入训练数据集页面后,需要进行训练配置、数据配置和基本配置。 训练配置 选择模型类型、训练类型以及基础模型。 数据配置 选择训练数据集和配比类型,设置训练数据集配比,详情请参考数据配比功能介绍。 在训练数据集配比完成
登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击任务名称查看模型评估任务详情。包含基本信息、评估详情、评估报告、评估日志以及数据配置。 图1 任务详情界面 任务详情: 任务详情中包含打分模式、评估资源、评估模型、任务状态以及模型描述。 图2 任务详情 评估报告: 任务状
C模型,或其衍生模型,使用通用模型或其他模型无法运行。如上例所示,当前的module-version需要配置为“N2_agent_v2”,模型的相关配置需要改为Pangu-NLP-N2-Agent-L0.C模型的地址。 with_prompt参数配置为True,prompt的拼接由Agent托管处理。 父主题: Agent(智能代理)
内容审核是文本的检测技术,可自动检测涉黄、涉暴、违规等内容,对用户向模型输入的内容、模型输出内容进行内容审核,帮助客户降低业务违规风险。 授权使用华为云内容审核,有效拦截大模型输入输出的有害信息,保障模型调用安全。 授权后,在调用盘古大模型能力时,模型的输入和输出将分别调用一次内容审核服务,该服务为付费项,用户可按需购买。
演的角色、指定可以访问的工具、设置结果的输出风格等。 模型配置 嵌入模型 用于对AI助手进行任务规划、工具选择和生成回复。 模型版本 选择与“嵌入模型”对应的版本。例如,嵌入模型为N2系列,则模型版本也为N2。 工具配置 网页搜索 开启网页搜索后,可以通过调用web搜索来解决模型对于事实类问题回答不好的现象。
2-Default模型,或其衍生模型,使用通用模型或其他模型无法运行。当前的moduleVersion需要配置为“N2_agent_v2”,如上例所示,因此模型的url要配置为Pangu-NLP-N2-Default模型的地址。 支持注册开源模型,开源模型的定义可参考开源模型。 final
描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
CacheStoreConfig # redis缓存配置写入2s后到期 redis_cache = Caches.of("redis", CacheStoreConfig(expire_after_write=2)) # inMemory缓存配置缓存窗口数量为3,访问后2s到期 memory_cache
Decrypt failed 报错原因:模型训练过程中,训练日志出现“Decrypt failed”报错,表示解密失败。 解决方案:请联系华为云排查环境变量ak、sk。 图4 Decrypt failed报错 父主题: 训练盘古大模型
洗流程的搭建,搭建过程中可以通过“执行节点”功能查看算子对数据的清洗效果。算子功能的详细介绍请参见清洗算子功能介绍。 图3 执行节点 用户配置算子后推荐增加、显示备注信息,用于团队其他成员快速了解算子编排。 图4 增加并显示备注信息 对于搭建满意的清洗流程,可以“发布模板”,后续
lookup("1+1"); 清理数据:删除缓存中的数据。例如,删除对应的缓存数据,可参考以下示例。 // 清理 cache.clear() 配置过期策略:设置缓存有效期,支持基于时间和大小的限制。 // 设置缓存数据10s 后过期 Cache cache = Caches.of(Caches
图3 前往OBS 在OBS控制台页面,单击界面右上角“创建桶”。 图4 OBS页面 创建OBS桶时,桶区域需要与盘古大模型区域保持一致。其余配置参数可以使用默认值,详细OBS桶参数说明请参见OBS用户指南。 图5 创建OBS桶 参数填选完成后,单击“立即创建”。创建好的OBS桶将显示在桶列表中。
ovider, vector_config) 定义一个ToolRetriever包含2个参数,一个ToolProvider,一个向量数据库配置。其中,ToolProvider的作用为根据工具检索的结果组装工具。 上述例子使用了一个简单的InMemoryToolProvider,I
"description")) .build()); 定义一个ToolRetriever包含ToolProvider和向量数据库配置2个参数。其中,ToolProvider的作用为根据工具检索的结果组装工具。 上述例子使用了一个简单的InMemoryToolProvid
的持久化: /** * 在生产环境下,agentSession建议在外部持久化,而不是在内存中 * 如果使用AssistantAPI,华为会提供持久化能力,不需要自行实现 */ private static final Map<String, AgentSession> agentSessionMap