检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将已有模型部署为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后,可以对模型服务进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 本文介绍如何将微调后的模型或部分平台资产中心的模型部署为模型服务。 前提条件 已购买推理单元资源,具体购买方法请参见购买AI
[Service proxy.apply_sudo._wrapped_f]: fail to operator sudo,message: send request fail, status code: 400, error: None, message: illegal param
创建路由策略用于提供模型服务 通过配置路由策略,可以实现模型故障自动切换能力,当模型A因故障等原因无法正常工作时,可以自动切换为另一个可用的模型提供服务,从而提高模型服务的稳定性和可用性。 路由策略创建完成后,可以进行模型调测,并支持在创建Agent时使用或通过接口调用。 前提条件
工作流基础节点说明 起始节点 调用子工作流 数据连接器 LLM 知识库 变量V2 控制 JSON构造器 Code代码 结束 父主题: 管理工作流
工作流工具节点说明 工作流的工具节点可以是系统提供的,也可以是用户自定义的工具,用于实现特定的业务逻辑或功能,包含以下三种类型: 华为类:为用户提供各种华为类的工具节点,如华为会议、华为天气服务等。具体介绍请参见华为类。 生活服务类:为用户提供各种用途全面,功能丰富的API资产,如银行网点查询
工作流中工具节点的实例如何配置? 工具节点实例需要填写工具创建时所配置的鉴权信息。 三方厂商的工具API,请到工具对应官网获取鉴权信息。 自创建工具请填写工具创建时所配置的鉴权信息。 如果调用其他租户或资源相互隔离的部门所上架的工具,请在AI原生应用引擎中,选择左侧导航栏的“资产中心
常见问题 异常1:Username is Emty! 异常:ERROR com.huawei.rainbow.utils.parser.DbNodeConfParser:46 - [] - appConfStr is not json format 原因:业务直接往ETCD里面set
自接入的模型在模型调测的时候报错是什么原因? 接入第三方模型服务时,填写的模型名称必须为该模型的模型ID/模型编码(登录第三方模型厂商官网查看),例如:Baichuan4、deepseek-chat、glm-4-air,如图1所示,否则会导致模型不可用。 图1 接入模型服务 父主题
控制 控制连接器包含“中断”、“条件判断”、“继续”、“遍历集合元素”、“分支”、“数据分片”、“多分支条件”、“终止”、“流程块”、“循环”、“异常监控和处理”执行动作。 连接参数 控制连接器无需认证,无连接参数。 中断 中断(break),设置了中断节点,流运行到中断节点后,不会再往后面执行
工作流已启用,为什么在创建Agent时仍然无法选用? 创建Agent(工作流模式)时,所选工作流的起始节点必须引入用户对话输入,包含默认的WISEAGENT_USER_INPUT参数,如图1所示,表示在Agent调用工作流时,以用户在问答对话中输入的内容作为工作流的请求参数。不满足要求的工作流无法选用
配置demo # resources.yaml - name: sdkCluster type: WiseCloud::MicroService::NuwaContainer properties: microserviceName: WiseCloudNuwaSDK
将创建的工具上架到资产中心 工具创建完成后,可以将工具上架至资产中心,其他租户或资源相互隔离的部门收藏工具后,可便捷地进行使用。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 上架工具 在AI原生应用引擎的左侧导航栏选择
结束 结束节点是工作流的基础节点之一,仅包含“结束节点”一个执行动作。 结束节点作为整条工作流的输出返回,需配置响应体、状态码、响应头参数。 表1 结束节点参数说明 参数 说明 选择回答模式 由Agent生成回答:Agent绑定了大模型时,由大模型对工作流的输出进行总结,生成自然语言回答
错误码说明 表1 错误码说明 错误码 说明 NotFound 实例不存在 NuwaRuntime.Microservice.CreateError 实例创建失败 NuwaRuntime.Microservice.ReadError 实例读取失败 NuwaRuntime.Microservice.DeleteError
模型微调任务一直在等待中是什么原因? 模型微调任务一直在“等待中”状态,表示当前平台资源规格紧张,任务需要进行排队,请耐心等待。 父主题: AI原生应用引擎
Code代码 Code代码是工作流的基础节点之一,仅包含“运行代码”一个执行动作。 支持在工作流中编写Python代码,可以将前置节点的输出作为函数的输入参数,函数的返回结果则作为输出参数供后置节点引用,从而提高工作流的灵活性和智能性。 运行代码配置说明 表1 运行代码配置参数说明
调用资产中心工具前设置认证鉴权 资产中心展示了平台预置的第三方厂商工具以及租户上架的工具,这些三方工具可以在创建Agent时进行便捷调用。 如果三方工具在创建时设置了鉴权信息,在调用前还需要配置认证鉴权。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage
LLM LLM(Large Language Model,大语言模型)即大模型,是工作流的基础节点之一,仅包含“chat”一个执行动作。 在工作流中添加LLM节点,可以使用大语言模型推理服务实现智能问答,在输入参数中引入前置节点的输出或自定义文本作为输入问题,大语言模型根据问题生成回答
知识库 知识库是工作流的基础节点之一,仅包含“查询知识库”一个执行动作。 在工作流中添加知识库节点,可以根据输入参数从指定知识库内召回匹配的信息。 查询知识库配置说明 输入参数 用户配置运行动作执行动作,相关参数说明如表1所示。 表1 输入参数说明 参数 是否必填项 说明 知识库ID
JSON构造器 JSON构造器为用户提供构造JSON对象的能力,用户通过界面化操作可以构造出复杂的JSON结构,也可以通过“切换为源码模式”,将复杂的JSON格式数据转换到界面显示,包含“构造JSON对象”执行动作。 构造JSON对象 输入参数 用户配置构造JSON对象源码模式执行动作