检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调测/体验模型 通过调测模型,可检验模型的准确性、可靠性及反应效果,发现模型中存在的问题和局限性,确保模型能够在实际应用中正常运行,并且能够准确地预测和处理数据。 支持对我的模型(我部署的、我接入的)、我的路由策略、平台资产中心预置的部分模型以及模型服务商提供的模型进行调测。 前提条件
创建提示语 平台在资产中心预置了提示语模板,同时也支持用户根据需求自定义创建提示语。在模型调测时引用创建的提示语模板,可以快速推进引导对话的发展,或者增加故事的复杂性和深度。大模型会基于提示语所提供的信息,生成对应的文本或者图片。 前提条件 需要具备AI原生应用引擎管理员或开发者权限
modules模块 HttpxClient ModelRouter PromptTemplate KnowledgeRetriever ApplicationCenter 父主题: AI原生应用引擎SDK API
模型API接入接口规范 当前模型网关支持文本对话(Chat)、文本向量化(Embeddings)、文本排序(Rerank)三种类型的API接入。模型API接入之前,请确保符合相对应的接口规范,其中Chat接口和Embeddings接口需要符合OpenAI接口规范,Rerank接口需要符合
创建并发布Agent Agent指具备自主智能的AI实体应用,具有一定的智能和自主性,可以自主地发现问题、设定目标、构思策略、执行任务等。 平台在资产中心预置了部分AI应用,同时也支持用户创建Agent,当前支持创建LLM模式和工作流模式两种类型的Agent。 LLM模式下,将准备好的模型服务
Agent问答的时候没有回答 思考模型没有配置鉴权,或者鉴权失效了,可以通过模型调测功能测试思考模型是否正常,具体操作请参见调测/体验模型。 父主题: AI原生应用引擎
如何调整纳管集群的资源占用量? 集群纳管成功后会在集群中新增一个ers-manager命名空间,并拉起一个名称为ers-cluster-agent-XXX的pod,用来定期向ERS上报数据,约占用660M4.5Gi的资源,可以通过修改pod的YAML文件中各插件(container
PSQLException: ERROR: invalid input syntax for type numeric 问题现象 judge历史的原始详情中出现PSQLException: ERROR: invalid input syntax for type numeric报错
创建工具 工具是一组相关的API集合,在开发过程中,工具可在用户创建Agent时调用,有效提高Agent开发的效率。 平台在资产中心预置了部分工具,同时也支持用户根据需求自定义创建工具。本文介绍如何创建工具。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见
平台有没有预置模型? 平台预置了开源模型chatglm3-6b,并提供对应的模型服务API,但是该模型能力有限,只能作为问答模型,不能作为思考模型。首次使用该模型服务API需要订购免费的“ChatGLM3-6B大模型服务API在线调用”资源,订购后即可进行体验,订购操作请参见购买AppStage
接入模型服务 支持通过API接入模型服务,模型服务接入后,可以进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 模型API接入之前,请确保符合相对应的接口规范
思考模型和问答模型的区别 思考模型:用于任务规划和选择组件,主要用于工作流、知识库、工具的调用,以及入参的识别传递等。 问答模型:主要用于问答及总结。 父主题: AI原生应用引擎
创建知识检索流 知识检索流是一种特殊的工作流,除工作流基础节点外,还具备检索规划、召回、重排序三个节点。知识检索流作为知识库检索工具,可以提升检索过程的灵活度与检索结果的质量。 支持在创建Agent时调用知识检索流,对Agent或工作流关联的知识库进行检索增强,以提升Agent响应质量
创建知识库 知识库是一个组织、存储及管理知识的系统,包括文档、数据库、图表、表格等多种形式的信息的分类、整理和归纳,可以帮助用户组织和管理大量的信息,以便快速访问和使用,平台为用户提供了创建并管理知识库的能力,且创建的知识库启用后可在创建Agent时引用。 前提条件 通过OBS接入数据时
大模型微调需要的数据有要求吗? AI原生应用引擎用于大模型微调的数据集任务领域为“自然语言处理”、数据集格式为“对话文本”。 文件内容要求为标准json数组,例如: [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{
HttpxClient 实例化 表1 实例化参数 参数名 参数类型 是否必选 参数描述 base_url str False 模型网关开放的ip和端口,有默认值可以不填。功能类似OpenAI的base_url。 custom_hearders dict False 其他自定义请求头信息
PromptTemplate 导入PromptTemplate from wiseagent_dev_sdk_python.modules.prompt import PromptTemplate PromptTemplate提供了提示语编写与组装的能力,目前支持f-string和
收藏上架的工具 其他租户或资源相互隔离的部门,如需使用资产中心上架的工具,需要先收藏到“我的工具”列表中,方可便捷地进行使用。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 收藏其他租户上架的工具 在AI原生应用引擎的左侧导航栏选择
资产中心的工具怎么使用? 资产中心的工具包括接入的第三方厂商工具及其他租户上架的工具。 对于平台接入的第三方厂商工具,初始化的租户是无法直接使用的,需要在第三方官网购买之后,参见调用资产中心工具前设置认证鉴权配置鉴权信息。 对于其他租户上架的工具,其他租户或资源相互隔离的部门使用前需收藏并配置鉴权
发布Agent的时候提示套餐校验失败 发布Agent前需要订购智能应用运行时引擎资源,请参靠购买AI原生应用引擎,按照需要购买实例个数以及时长。 父主题: AI原生应用引擎