检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开源模型怎么部署? 开源模型的部署需要购买推理单元,具体操作如下: 在AI原生应用引擎的左侧导航栏选择“资产中心”,选择“大模型”页签。 将鼠标光标移至待部署的开源模型卡片上,单击“部署”。 在“创建部署服务”页面,可以查看到需要几个推理单元,单击“购买推理单元资源”。 图1 创建部署服务
平台有没有预置模型? 平台预置的开源模型chatglm3-6b 平台预置开源模型chatglm3-6b,并提供对应的模型服务API,但是该模型能力有限,只能作为问答模型,不能作为思考模型。首次使用该模型服务API需要订购免费的“ChatGLM3-6B大模型服务API在线调用”资源
environ["WISEAGENT_API_KEY"] = "wiseagent-api-key" from wiseagent_dev_sdk_python.modules.models import ModelRouter model_router = ModelRouter() response
下载AI原生应用引擎SDK AI原生应用引擎面向开发者提供了一套搭建原生应用的Python SDK,包含了模型调用,知识获取,工具调用等功能。开发者可以使用SDK调用AI原生应用引擎的各种能力,快速构建大模型应用。 用户可以通过AI原生应用引擎平台下载SDK,同时对SDK完整性进
SDK概述 AI原生应用引擎SDK面向开发者提供了一套搭建原生应用的Python SDK,包含了模型调用,知识获取,工具调用等功能。开发者可以使用SDK调用AI原生应用引擎的各种能力,帮助开发者快速构建大模型应用。 表1 模块说明 序号 模块 功能 1 HttpxClient 负责发送HTTP请求的基类。
如何在工作流中定制逻辑实现特定任务,比如时间格式转换、数组对象的push等 工作流提供了Code代码节点,通过Code代码节点可以在工作流中编写Python代码,根据具体需求定制逻辑以实现特定的任务,如图1所示,具体介绍请参见Code代码。 图1 Code代码节点配置 时间格式转换代码示例:
大模型页签下展示平台预置的大模型和平台接入的第三方模型服务。 平台预置的开源模型 开源模型Qwen系列、DeepSeek系列等。 请参考将已有模型部署为模型服务进行部署,部署后即可进行调测/体验、调用。 平台预置开源模型chatglm3-6b,并提供对应的模型服务API,但是该模型能
ApplicationCenter提供了开发者调用部署在平台的应用的能力。 导入ApplicationCenter from wiseagent_dev_sdk_python.modules.tools import ApplicationCenter 实例化 表1 实例化参数 参数名 参数类型 是否必选 参数描述
目前支持f-string和jinja两种形式的模板。 导入PromptTemplate from wiseagent_dev_sdk_python.modules.prompt import PromptTemplate 类属性 表1 类属性 参数名 参数类型 是否必选 参数描述
输出参数。每个变量都可在后置节点中引用。 执行语言 当前仅支持Python3.9,即运行函数的环境,请查看Python函数开发指南。 编辑源码 在源码编辑区,编写函数内部的代码运行逻辑,如图1所示,图中各模块说明如下: ①:导入模块,是Python标准库中的模块,无需修改。 ②:用户自定义导入模块。
快速开始 下载AI原生应用引擎SDK AI原生应用引擎SDK获取地址:wiseagent-dev-sdk-python。您也可以参考下载SDK获取AI原生应用引擎SDK并进行完整性校验。 AI原生应用引擎SDK获取方法请参考。 安装AI原生应用引擎SDK 若已经安装过最新版本SDK,可以忽略此步骤。
什么是AppStage运行时引擎 AppStage运行时引擎提供了NUWA微服务框架,NUWA是一个开箱即用的应用级容器,兼容开源Spring Cloud微服务,预集成构建云服务业务分布式架构所需的各个组件(微服务框架、数据库、通用中间件、安全中间件、公共服务等)及DFX(Design
参数名称 参数说明 模型服务 选择要调测的模型服务,在下拉列表可选: 模型服务商API(平台接入的第三方模型服务) 预置模型API(平台预置的开源模型) 我的模型API(我部署的、我接入的) 我的路由策略 输出方式 可选非流式、流式。二者区别如下: 非流式:调用大语言模型推理服务时,
Arts。 CCE/EVS/ECS/ELB/IAM/IMS/NAT/EIP/OBS/SFS/SMN/SWR/DCS/VPC/VPCEP/WAF/HSS/Anti-DDoS/DWS/CES/DRS/DEW/DDS/APIG/MRS/CSS/DMS/TaurusDB/GeminiDB
查看虚机报表 监控服务对接Grafana,Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知,用户可在虚机报表界面查看主机的各项监控指标。 目前此功能仅支持白名单用户通过提交工单申请使用。详细操作请参考提交工单。 前提条件
华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建
以访问AI原生应用引擎上的模型,接口调用类似OpenAI。 导入ModelRouter from wiseagent_dev_sdk_python.modules.models import ModelRouter 实例化 表1 实例化参数 参数名 参数类型 是否必选 参数描述 base_url
输入:按照函数定义中指定的参数列表配置入参,即传递给函数的实际值。支持输入参数或选择前序节点的输出作为输入。 图1 Code代码节点输入 输出:Python代码的函数中定义的每个变量都可在后置节点中引用。 图2 Code代码节点输出 父主题: AI原生应用引擎
力,可以检索开发者的知识库,提取相关的信息。 导入KnowledgeRetriever from wiseagent_dev_sdk_python.modules.knowledge_db import KnowledgeRetriever 实例化 表1 实例化参数 参数名 参数类型
为什么使用运维中心 运维面临的问题 应用的快速迭代与现网业务稳定性之间存在冲突,应用发布周期短,版本可能未经过充分的现网验证。 运维平台基于开源软件或者各类分散工具构建,各工具能力参差不齐,缺乏统一的数据接入、监控、诊断、数据治理体系。 系统可用性依赖全栈可观测,运维人员需要被动变