检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
pangu_chat 盘古对话模型 pangu_llm 盘古裸机模型 embedding 向量模型 query2query query2query模型 rerank 精排模型 search_plan 搜索规划模型 llm 原生模型 最小长度:1 最大长度:64 枚举值: pangu_chat pangu_llm
删除模型 功能介绍 删除模型 URI DELETE /v1/koosearch/models/{model_name} 表1 路径参数 参数 是否必选 参数类型 描述 model_name 是 String 模型名称 最小长度:1 最大长度:64 请求参数 表2 请求Header参数
参数类型 描述 detail 否 String 模型描述 最小长度:1 最大长度:512 endpoint 否 String 模型endpoint 最小长度:1 最大长度:512 extend_config 否 ModelExtendConfig object 模型的自定义配置,json格式
模型管理 新增模型 修改模型配置 列举模型 删除模型
参数类型 描述 name String 模型名称 最小长度:1 最大长度:64 detail String 模型详情 最小长度:1 最大长度:512 type String 模型类型 最小长度:1 最大长度:64 endpoint String 模型endpoint 最小长度:1 最大长度:512
左侧导航栏选择“模型管理”,进入“模型管理”页面。 单击页面的“新建模型服务”,弹出新建模型服务页面。 图1 新建模型服务 在新建模型服务页面。根据下表填写对应参数后,单击“确定”按钮。 表1 新建模型服务 参数 说明 模型服务名称 输入模型服务名称,不能为空。 模型类型 NLP模型-云底
Studio大模型即服务平台。 在ModelArts Studio大模型即服务平台选择合适的模型,创建为“我的模型”。操作指导请参见在MaaS中创建模型。 将创建好的模型部署为模型服务,具体操作请参见使用MaaS部署模型服务。 选择使用AppCode认证方式调用部署好的模型服务,具体操作请参见调用MaaS部署的模型服务。
presence_penalty 否 Float 用于调整模型对新Token的处理方式。即如果一个Token已经在之前的文本中出现过,那么模型在生成这个Token时会受到一定的惩罚。当presence_penalty的值为正数时,模型会更倾向于生成新的、未出现过的Token,即模型会更倾向于谈论新的话题。 最小值:-2
概述 欢迎使用Koosearch服务。Koosearch服务为您提供托管的分布式搜索引擎服务+大模型生成能力。本文档提供了Koosearch服务API的描述、语法、参数说明及样例等内容。 父主题: 使用前必读
文档占位符{0}和搜索query占位符{1}。可以根据不同的使用场景,配置不同的prompt,例如增加人设、限定条件、答案格式要求等,帮助模型生成更优的结果。 URI POST /v1/koosearch/repos/{repo_id}/search-prompt 表1 路径参数
如何调用API 构造请求 认证鉴权 接口获取 返回结果
本节介绍REST API请求的组成,以调用获取用户Token接口说明如何调用API,该API获取用户的Token,Token是用户的访问令牌,承载身份与权限信息,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud
自定义规则解析示例 在“模型设置”页签配置好模型后,单击“下一步”。 搜索模型设置 选择Embedding模型服务、精排模型服务、搜索规划模型服务。 Embedding模型服务:基于盘古大模型技术的文本表示模型,将文本转化为用数值表示的向量形式,用于文本检索、聚类、推荐等场景。 精排模型服务:基
//用户名 "password": "********", //登录密码 "domain": { "name": "domainname" //用户所属的账号名称 } } } }, "scope": {
最大长度:65535 lod 否 String level of detail, 返回结果详细程度:simple:简单 detail:详细 缺省值:detail 最小长度:1 最大长度:64 枚举值: simple detail 请求参数 表2 请求Header参数 参数 是否必选 参数类型
说明: 如果选择NLP模型-昇腾云类型的模型服务进行问答,建议设置模型生成最大新词数不超过512。 非搜索增强模型生成多样性(temperature) 控制非搜索增强模型文本的随机性,值越高,文本随机性越、多样性和创造性越高。默认值为0.8。 搜索增强模型生成多样性(temperature)
最大长度:64 detail 否 String 知识库描述 最小长度:1 最大长度:100 embedding_model 否 String embedding模型名称 最小长度:1 最大长度:32 rerank_model 否 String rerank模型名称 最小长度:1 最大长度:32
上传图片入库。 获取图片内容 根据ID获取图片内容。 表10 模型管理接口 API 说明 新增模型 新增配置模型,包括模型名称、模型描述、模型endpoint、模型配置。 修改模型配置 修改模型。 列举模型 列举模型。 删除模型 删除模型。 表11 用户的文档解析规则定义接口 API 说明
到减少下游大模型推理成本,以及提升大模型的推理效果。 缓存 利用缓存技术,预先存储频繁请求的信息,系统从缓存中快速提供,节省时间和资源。 搜索大模型 文本向量模型 支持将文本转化为用数值表示的向量形式用于语义检索。 文本精排模型 可更加精准找到相关文本,不同于向量模型输出向量,直
embedding_model String embedding模型名称 最小长度:1 最大长度:64 rerank_model String rerank模型名称 最小长度:1 最大长度:64 nlp_model String nlp模型名称 最小长度:1 最大长度:64 file_extract