检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"project": { "name": "cn-southwest-2" //盘古大模型当前部署在“西南-贵阳一”区域,取值为cn-southwest-2 } } } } Python
描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
范围见模型API规范 top_p: Optional[float] # 核采样值, 和temperature不同时配置 presence_penalty: Optional[float] # 存在惩罚,增加模型谈论新主题的可能性,范围见具体模型API规范
洗流程的搭建,搭建过程中可以通过“执行节点”功能查看算子对数据的清洗效果。算子功能的详细介绍请参见清洗算子功能介绍。 图3 执行节点 用户配置算子后推荐增加、显示备注信息,用于团队其他成员快速了解算子编排。 图4 增加并显示备注信息 对于搭建满意的清洗流程,可以“发布模板”,后续
PANGUDOC).filePath(filePath).mode("1").build()); // 初始化pangudoc split(通过配置文件指定filePath和mode) DocSplit docPanguSplit = DocSplits.of(DocSplits.PANGUDOC);
lookup("1+1"); 清理数据:删除缓存中的数据。例如,删除对应的缓存数据,可参考以下示例。 // 清理 cache.clear() 配置过期策略:设置缓存有效期,支持基于时间和大小的限制。 // 设置缓存数据10s 后过期 Cache cache = Caches.of(Caches
的模型进行开发和应用。 表1 NLP大模型清单 模型类别 模型 token 简介 NLP大模型 盘古-NLP-N1-基础功能模型-32K 部署可选4096、32768 基于NLP-N1-基模型训练的基础功能模型,具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力,具有32K上下文能力,可外推至128K。
权限。 模型开发人员 具备总览、服务管理、能力调测、数据工程(数据管理、数据清洗)、模型开发(模型管理、模型训练、模型评估、模型压缩、模型部署)、平台管理(资产管理、权限管理)功能的使用权限。 推理服务API调用人员 具备总览、服务管理、能力调测、平台管理(权限管理)、运营面板功能的使用权限。
"description")) .build()); 定义一个ToolRetriever包含ToolProvider和向量数据库配置2个参数。其中,ToolProvider的作用为根据工具检索的结果组装工具。 上述例子使用了一个简单的InMemoryToolProvid
ovider, vector_config) 定义一个ToolRetriever包含2个参数,一个ToolProvider,一个向量数据库配置。其中,ToolProvider的作用为根据工具检索的结果组装工具。 上述例子使用了一个简单的InMemoryToolProvider,I
vector_api.add_docs(bulk_list) 通过vectorStoreConfig判断使用CSS的插件模式和非插件模式。如果配置了embedding模型,则使用非插件模式,否则使用插件模式。注意,在非插件模式下,vectorFields有且只有1个。 父主题: Memory(记忆)
而提高模型的整理效果。 表2 NLP大模型清单 模型类别 模型 token 简介 NLP大模型 盘古-NLP-N1-基础功能模型-32K 部署可选4096、32768 基于NLP-N1-基模型训练的基础功能模型,具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力,具有32K上下文能力,可外推至128K。
本场景采用了下表中的推理参数进行解码,您可以在平台部署后参考如下参数调试: 表3 推理核心参数设置 推理参数 设置值 最大Token限制(max_token) 4096 温度(temperature) 0.3 核采样(top_p) 1.0 话题重复度控制(presence_penalty) 0 部署推理服务后,可以
描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
本场景采用了下表中的推理参数进行解码,您可以在平台部署后参考如下参数调试: 表2 推理核心参数设置 推理参数 设置值 最大Token限制(max_token) 1024 温度(temperature) 0.3 核采样(top_p) 0.8 话题重复度控制(presence_penalty) 0 部署推理服务后,可以
描述 project_id 是 String 项目ID,获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID,获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token