检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
权限。 模型开发人员 具备总览、服务管理、能力调测、数据工程（数据管理、数据清洗）、模型开发（模型管理、模型训练、模型评估、模型压缩、模型部署）、平台管理（资产管理、权限管理）功能的使用权限。 推理服务API调用人员 具备总览、服务管理、能力调测、平台管理（权限管理）、运营面板功能的使用权限。
登录“我的凭证 > API凭证”页面，获取user name、domain name、project id。 由于Assistant当前部署在“西南-贵阳一”区域，需要获取与“西南-贵阳一”区域对应的project id。 图3 获取user name、domain name、project
"description")) .build()); 定义一个ToolRetriever包含ToolProvider和向量数据库配置2个参数。其中，ToolProvider的作用为根据工具检索的结果组装工具。 上述例子使用了一个简单的InMemoryToolProvid
ovider, vector_config) 定义一个ToolRetriever包含2个参数，一个ToolProvider，一个向量数据库配置。其中，ToolProvider的作用为根据工具检索的结果组装工具。 上述例子使用了一个简单的InMemoryToolProvider，I
vector_api.add_docs(bulk_list) 通过vectorStoreConfig判断使用CSS的插件模式和非插件模式。如果配置了embedding模型，则使用非插件模式，否则使用插件模式。注意，在非插件模式下，vectorFields有且只有1个。 父主题： Memory（记忆）
而提高模型的整理效果。 表2 NLP大模型清单 模型类别 模型 token 简介 NLP大模型 盘古-NLP-N1-基础功能模型-32K 部署可选4096、32768 基于NLP-N1-基模型训练的基础功能模型，具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力，具有32K上下文能力，可外推至128K。
本场景采用了下表中的推理参数进行解码，您可以在平台部署后参考如下参数调试： 表3 推理核心参数设置 推理参数 设置值 最大Token限制（max_token） 4096 温度（temperature） 0.3 核采样（top_p） 1.0 话题重复度控制（presence_penalty） 0 部署推理服务后，可以
描述 project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
本场景采用了下表中的推理参数进行解码，您可以在平台部署后参考如下参数调试： 表2 推理核心参数设置 推理参数 设置值 最大Token限制（max_token） 1024 温度（temperature） 0.3 核采样（top_p） 0.8 话题重复度控制（presence_penalty） 0 部署推理服务后，可以
步处理并最终输出答案，展示在前端界面。 在该框架中，query改写模块、中控模块和问答模块由大模型具体实现，因此涉及到大模型的训练、优化、部署与调用等流程。pipeline编排流程可以基于python代码实现，也可以人工模拟每一步的执行情况。检索模块可以使用Elastic Sea
描述 project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
