检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
pangu_chat 盘古对话模型 pangu_llm 盘古裸机模型 embedding 向量模型 query2query query2query模型 rerank 精排模型 search_plan 搜索规划模型 llm 原生模型 最小长度:1 最大长度:64 枚举值: pangu_chat pangu_llm
删除模型 功能介绍 删除模型 URI DELETE /v1/koosearch/models/{model_name} 表1 路径参数 参数 是否必选 参数类型 描述 model_name 是 String 模型名称 最小长度:1 最大长度:64 请求参数 表2 请求Header参数
参数类型 描述 detail 否 String 模型描述 最小长度:1 最大长度:512 endpoint 否 String 模型endpoint 最小长度:1 最大长度:512 extend_config 否 ModelExtendConfig object 模型的自定义配置,json格式
模型管理 新增模型 修改模型配置 列举模型 删除模型
参数类型 描述 name String 模型名称 最小长度:1 最大长度:64 detail String 模型详情 最小长度:1 最大长度:512 type String 模型类型 最小长度:1 最大长度:64 endpoint String 模型endpoint 最小长度:1 最大长度:512
左侧导航栏选择“模型管理”,进入“模型管理”页面。 单击页面的“新建模型服务”,弹出新建模型服务页面。 图1 新建模型服务 在新建模型服务页面。根据下表填写对应参数后,单击“确定”按钮。 表1 新建模型服务 参数 说明 模型服务名称 输入模型服务名称,不能为空。 模型类型 NLP模型-云底
us企业搜索服务基于业界效果突出的搜索模型、云搜索服务的高性能GaussDB向量数据库以及LLM模型组成行业RAG解决方案,导入非结构化或者结构化业务数据,帮助企业客户快速一站式搭建企业智能问答应用。搜索增强大模型,数据来源于搜索,解决大模型幻觉问题,生成的问答结果更可靠、安全。
Studio大模型即服务平台。 在ModelArts Studio大模型即服务平台选择合适的模型,创建为“我的模型”。操作指导请参见在MaaS中创建模型。 将创建好的模型部署为模型服务,具体操作请参见使用MaaS部署模型服务。 选择使用AppCode认证方式调用部署好的模型服务,具体操作请参见调用MaaS部署的模型服务。
presence_penalty 否 Float 用于调整模型对新Token的处理方式。即如果一个Token已经在之前的文本中出现过,那么模型在生成这个Token时会受到一定的惩罚。当presence_penalty的值为正数时,模型会更倾向于生成新的、未出现过的Token,即模型会更倾向于谈论新的话题。 最小值:-2
文档占位符{0}和搜索query占位符{1}。可以根据不同的使用场景,配置不同的prompt,例如增加人设、限定条件、答案格式要求等,帮助模型生成更优的结果。 URI POST /v1/koosearch/repos/{repo_id}/search-prompt 表1 路径参数
本节介绍REST API请求的组成,以调用获取用户Token接口说明如何调用API,该API获取用户的Token,Token是用户的访问令牌,承载身份与权限信息,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud
//用户名 "password": "********", //登录密码 "domain": { "name": "domainname" //用户所属的账号名称 } } } }, "scope": {
如何调用API 构造请求 认证鉴权 接口获取 返回结果
自定义规则解析示例 在“模型设置”页签配置好模型后,单击“下一步”。 搜索模型设置 选择Embedding模型服务、精排模型服务、搜索规划模型服务。 Embedding模型服务:基于盘古大模型技术的文本表示模型,将文本转化为用数值表示的向量形式,用于文本检索、聚类、推荐等场景。 精排模型服务:基
“名称”、“描述”、“请求方法”、“apig公网地址”、“apig请求地址”等信息。 图1 KooSearch-API管理界面 父主题: 如何调用API
最大长度:65535 lod 否 String level of detail, 返回结果详细程度:simple:简单 detail:详细 缺省值:detail 最小长度:1 最大长度:64 枚举值: simple detail 请求参数 表2 请求Header参数 参数 是否必选 参数类型
"error_code": "AS.0001" } 其中,error_code表示错误码,error_msg表示错误描述信息。 父主题: 如何调用API
最大长度:64 detail 否 String 知识库描述 最小长度:1 最大长度:100 embedding_model 否 String embedding模型名称 最小长度:1 最大长度:32 rerank_model 否 String rerank模型名称 最小长度:1 最大长度:32
说明: 如果选择NLP模型-昇腾云类型的模型服务进行问答,建议设置模型生成最大新词数不超过512。 非搜索增强模型生成多样性(temperature) 控制非搜索增强模型文本的随机性,值越高,文本随机性越、多样性和创造性越高。默认值为0.8。 搜索增强模型生成多样性(temperature)
到减少下游大模型推理成本,以及提升大模型的推理效果。 缓存 利用缓存技术,预先存储频繁请求的信息,系统从缓存中快速提供,节省时间和资源。 搜索大模型 文本向量模型 支持将文本转化为用数值表示的向量形式用于语义检索。 文本精排模型 可更加精准找到相关文本,不同于向量模型输出向量,直