检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 本文介绍如何将微调后的模型或部分平台资产中心的模型部署为模型服务。 前提条件 已购买推理单元资源,具体购买方法请参见购买AI原生应用引擎包年包月资源。 由于在线运行需消耗资源,请确保账户有可用资源,且用户费用状态正常。
心指标增量包-10个指标、运营中心指标增量包-100个指标 预置模型服务调用 API SaaS:ChatGLM3-6B大模型服务API在线调用 自定义模型训练 API SaaS:大模型微调服务API在线调用-SFT局部调优 说明: 按需仅适用于AppStage的AI原生应用引擎。
http_client httpx.client False 自定义的httpx client。 kwargs - False 其他可选参数,如api_key、timeout等。 父主题: modules模块
知识数据集请求参数说明 CreateKnowledgeDataSetReq 创建知识数据集的data_set参数具有特定结构,需要按照以下实体进行构造后转成json。 表1 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 参数解释: 数据集名称。 约束限制:
ModelRouter ModelRouter提供了AI原生应用引擎模型网关的接口,可以访问AI原生应用引擎上的模型,接口调用类似OpenAI。 导入ModelRouter from wiseagent_dev_sdk_python.modules.models import ModelRouter
选择左侧导航栏的“服务目录 > 一方服务”。 在一方服务页面,选择“微服务实例列表”页签。 单击微服务实例列表操作列的“上线”,将实例调整为上线状态。 下线实例 将在线的微服务调整为下线状态。下线实例将会让微服务实例不再接收流量,请确认后操作。 在微服务实例列表中,单击微服务实例列表操作列的“下线”。 在
httpx.client False 自定义的httpx client。 kwargs - False 其他可选参数,如api_key、timeout等。 接口调用 KnowledgeRetriever.retrieve 检索知识库数据,根据用户提供的检索信息,返回命中的信息数据。
无法对处于保留期的按需计费资源执行任何操作。 保留期到期后,如果您仍未支付账户欠款,那么ChatGLM3-6B大模型服务API在线调用、大模型微调服务API在线调用-SFT局部调优将无法再使用。 图1 按需计费AI原生应用引擎资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。
partial_variable dict False 格式化模板的部分变量 validate_template bool False 是否尝试验证模板 接口调用 PromptTemplate.from_template 初始化提示语模板,支持两种占位符格式以及部分变量值的预先填入。 参数说明 表2
代码仓管理是开发中心集成代码托管(CodeArts Repo)服务的能力,是遵循Git的基本运行模式的分布式版本管理平台,其具备安全管控、成员/权限管理、分支保护/合并、在线编辑、统计服务等功能,旨在解决软件开发者在跨地域协同、多分支并发、代码版本管理、安全性等方面的问题。 本章节介绍如何使用开发中心集成的CodeArts
选择左侧导航栏的“服务目录 > 一方服务”。 在一方服务页面,选择“微服务实例列表”页签。 单击微服务实例列表操作列的“上线”,将实例调整为上线状态。 下线实例 将在线的微服务调整为下线状态。下线实例将会让微服务实例不再接收流量,请确认后操作。 在微服务实例列表中,单击微服务实例列表操作列的“下线”。 在
代码仓管理是开发中心集成代码托管CodeArts Repo服务的能力,是遵循Git的基本运行模式的分布式版本管理平台,其具备安全管控、成员/权限管理、分支保护/合并、在线编辑、统计服务等功能,旨在解决软件开发者在跨地域协同、多分支并发、代码版本管理、安全性等方面的问题。 关于代码仓管理的常见问题请参见代码托管(CodeArts
httpx.client False 自定义的httpx client。 kwargs - False 其他可选参数,如api_key、timeout等。 接口调用 ApplicationCenter.get_tools 调用用户配置的工具的执行动作。 参数说明 参数名称 参数类型
AppStage开发中心知识库是面向开发团队的知识管理系统,支持知识全生命周期管理,帮助您完成智能、安全的知识作业,提供层级式的目录树、多人在线协同编辑等功能。 目前此功能仅支持白名单用户通过提交工单申请使用。详细操作请参考提交工单。 前提条件 已获取项目经理、开发人员或测试人员角色权限,权限申请方法请参见申请权限。
用。 平台预置开源模型chatglm3-6b,并提供对应的模型服务API,但是该模型能力有限,只能作为问答模型,不能作为思考模型。首次使用该模型服务API需要订购免费的“ChatGLM3-6B大模型服务API在线调用”资源,订购后即可进行调测/体验、调用,订购操作请参见购买AppStage。
产生费用,请在自动续费扣款日(默认为到期前7日)之前关闭自动续费。 按需计费资源 对于按需计费模式的资源,例如按需计费的大模型微调服务API在线调用-SFT局部调优,如果不再使用这些资源且需停止计费,请删除相应资源。 退订包年包月资源以停止计费 登录AppStage控制台,默认进入AppStage控制台“总览”页。
档、升级指导书、版本配套表等交付件类型,同时可以添加自定义类型交付件,并为交付件上传文件作为交付件模板。在交付件管理页面,用户可以通过创建在线文档或上传离线文档两种方式创建及管理交付件文档,保证版本开发过程阶段性成果沉淀以及过程可追溯。 版本基线化 版本基线化是指在版本发布前,选
仅适用于使用“上传卡片”方式新建的卡片。 编辑卡片 卡片形式:在需要编辑的卡片上,单击“编辑”。 列表形式:在对应的“操作”列下,单击“编辑”。 说明: 适用于使用“在线构建”、“模板构建”方式新建的卡片。 查看卡片详情 卡片形式:单击“更多 > 详情”,可以查看卡片详情。 列表形式:在对应的“版本号”列下,单击版本号。
提供AI原生应用开发引擎,包括RAG、Agent等应用框架,零码态和全码态的开发形态,降低AI原生应用开发门槛、提升开发效率。支持客户打通自己的业务能力API,将大模型的能力结合进入自己的业务链路。 提供支撑AI原生应用运行的整套模型工具链,包括数据管理、模型接入、模型调优、知识工程等能力,帮助
微调任务执行完成后,单击“操作”列的“发布”,发布模型。 步骤三:部署模型 部署模型是将模型部署为在线服务,通过创建部署服务实现,创建成功后,可以对在线服务可以进行预测和调用。本文需要为基座模型(原模型)和微调后的新模型分别创建模型服务。由于在线运行需消耗资源,请确保账户未欠费。 在AI原生应用引擎的左侧导航栏选择“模型中心