检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何保证Agent每次问答都调用知识库? 创建Agent时,支持配置支持库调用方式,当调用方式选择为“自动调用”时每次问答都会调用知识库,选择“按需调用”时由大模型决定是否调用知识库,如图1所示。具体介绍请参见创建并发布Agent。 图1 调用方式 父主题: AI原生应用引擎
Cloud框架。 环境准备 已下载并安装Maven,根据以下步骤配置Maven。 在<localRepository>标签内添加自己的本地仓库位置路径,这个本地仓库位置是自己创建的。 D:\apache-maven-3.8.6-bin\repository <localRepository>D:\apache-maven-3
为必填参数。 服务器地址 需要连接的服务器的IP地址,用于访问服务器的位置。 仅当“数据源类型”为“MySql数据源”时,该参数为必填参数。 数据库名称 用于唯一标识数据库的名称。 仅当“数据源类型”为“MySql数据源”时,该参数为必填参数。 用户名 连接到服务器所需的用户名,用于验证身份和授权访问权限。
指根据不同的环境类型和用途,对服务器的 CPU 、内存、数据盘等硬件资源进行合理分配和管理的过程。例如,开发环境的资源规格可能会比生产环境的小,而性能测试环境的资源规格可能会更大,以满足其对硬件资源的需求。 容器端口 容器端口是指在容器内部运行的应用程序所监听的网络端口。容器是一种虚拟化技术,它可
流。 图2 引入变量 通过API调用Agent时,将Agent中配置的变量(一般变量或敏感变量)传递给API,即将请求参数variables填写为Agent中配置的变量,具体操作请参考调用Agent。 父主题: AI原生应用引擎
AI原生应用引擎训练好后的模型如何获取? 使用模型微调训练好模型后的新模型只能通过模型部署(创建模型服务)上线,无法下载至本地使用。 父主题: AI原生应用引擎
IP报文sourceIP。 健康检查告警阈值 如果后端状态异常的服务器数量超过阈值将产生告警。对应配置文件中的 config.UNHEALTH_SERVER_THRESHOLD。 健康告警持续时间阈值 如果后端服务器异常情况持续时间超过阈值(分钟)将产生告警。对应配置文件中的 config
IP报文sourceIP。 健康检查告警阈值 如果后端状态异常的服务器数量超过阈值将产生告警。对应配置文件中的 config.UNHEALTH_SERVER_THRESHOLD。 健康告警持续时间阈值 如果后端服务器异常情况持续时间超过阈值(分钟)将产生告警。对应配置文件中的 config
置模型或模型服务商提供的模型。 输出方式 可选非流式、流式。二者区别如下: 非流式:调用大语言模型推理服务时,根据用户问题,获取大语言模型的回答,大语言模型完整生成回答后一次性返回。 流式:调用大语言模型推理服务时,根据用户问题,获取大语言模型的回答,逐个字词的快速返回模式,不需等待大语言模型生成完成。
心指标增量包-10个指标、运营中心指标增量包-100个指标 预置模型服务调用 API SaaS:ChatGLM3-6B大模型服务API在线调用 自定义模型训练 API SaaS:大模型微调服务API在线调用-SFT局部调优 说明: 按需仅适用于AppStage的AI原生应用引擎。
调用资产中心工具前设置认证鉴权 资产中心展示了平台预置工具以及租户上架的工具,这些三方工具可以在创建Agent时进行便捷调用。 如果三方工具在创建时设置了鉴权信息,在调用前还需要配置认证鉴权。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。
y.whl 若已经安装过最新版本SDK,可以忽略此步骤。 将${version}替换成实际所使用的SDK版本。 如果采用本地依赖的方式引入SDK,即手动将本地下载的SDK包引入到工程,还需要添加间接依赖:httpx、pydantic、jinja2。 初始化SDK 在使用SDK之前
在SLB中创建和管理监听 (可选)录入HTTPS监听所需的服务器证书 在SLB中创建监听 将监听配置同步到SLB节点 在SLB中配置监听共享 父主题: 配置运维中心负载均衡
在SLB中创建和管理监听 (可选)录入HTTPS监听所需的服务器证书 在SLB中创建监听 将监听配置同步到SLB节点 在SLB中配置监听共享 父主题: 配置运行时引擎负载均衡
方(Provider)实例节点把自己的IP和端口注册到Cloud Map,并通过心跳的方式维持注册。调用方(Consumer)实例查询Provider的所有实例列表,实现点对点调用。微服务属于一个服务,一个微服务可能有多个集群。 中间件 中间件对应一个中间件集群,Cloud Ma
方(Provider)实例节点把自己的IP和端口注册到Cloud Map,并通过心跳的方式维持注册。调用方(Consumer)实例查询Provider的所有实例列表,实现点对点调用。微服务属于一个服务,一个微服务可能有多个集群。 中间件 中间件对应一个中间件集群,Cloud Ma
动作等相关操作的描述。一般系统会有各种各样的日志文件,如应用程序日志,安全日志、系统日志、Scheduler服务日志、WWW日志、DNS服务器日志等。 日志项目 日志项目是一个包含多个日志服务配置的整体,可以看作是一个微服务实例。 同一个微服务实例下的日志服务配置应当包含在一个日志项目中。
申请权限。 创建扩容模板 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“运维 > 部署服务”。 选择左侧导航栏的“虚拟机集群 > 扩容模板”。 单击“创建”,进入创建扩容模板页面。 配置扩容模板参数,参数说明如表1所示,配置完成后,单击“确定”。 表1 创建扩容模板参数说明
SSL_do_handshake() failed test nginx: nginx: [emerg] host not found in upstream "后端服务器名称" in /.../server...conf:17 nginx: .../nginx.conf test failed [FAILED
我创建的微调数据集会被其他用户调用去训练他们的大模型吗? 用户个人创建的数据集是属于个人账号下的专属数据,未经本人许可不会被其他人员查看到,且不会被其他用户在大模型训练时调用。 父主题: AI原生应用引擎