检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文介绍如何将微调后的模型或部分平台资产中心的模型部署为模型服务。 前提条件 已购买推理单元资源,具体购买方法请参见购买AI原生应用引擎包年包月资源。 由于在线运行需消耗资源,请确保账户有可用资源,且用户费用状态正常。 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。
AppStage开发中心知识库是面向开发团队的知识管理系统,支持知识全生命周期管理,帮助您完成智能、安全的知识作业,提供层级式的目录树、多人在线协同编辑等功能。 目前此功能仅支持白名单用户通过提交工单申请使用。详细操作请参考提交工单。 前提条件 已获取项目经理、开发人员或测试人员角色权限,权限申请方法请参见申请权限。
M3-6B服务、大模型调优服务API在线调用。 套餐包单价+按需计费(ChatGLM3-6B服务、大模型调优服务API在线调用) 知识库容量:50GB 智能应用运行时引擎(20实例):2个 ChatGLM3-6B服务、大模型调优服务API在线调用根据实际输入和输出tokens总量计费,计费规则请参考按需计费
查看服务总览和依赖关系图 概览页面展示了当前产品下所有的注册到Cloud Map的资源总览情况以及服务的依赖关系图。 查看服务总览 进入AppStage运维中心。 单击,选择“微服务开发 > 服务发现”。 选择左侧导航栏的“服务目录 > 概览”。 选择“服务总览”页签,查看当前产品下所有服务注册到Cloud
计费项说明 适用的计费模式 计费公式 ChatGLM3-6B大模型服务API在线调用 根据实际输入和输出tokens总量计费,平台提供算力支持。 按需计费 千tokens * 每千tokens单价 大模型微调服务API在线调用-SFT局部调优 根据实际输入和输出tokens总量计费,平台提供算力支持。
仅适用于使用“上传卡片”方式新建的卡片。 编辑卡片 卡片形式:在需要编辑的卡片上,单击“编辑”。 列表形式:在对应的“操作”列下,单击“编辑”。 说明: 适用于使用“在线构建”、“模板构建”方式新建的卡片。 查看卡片详情 卡片形式:单击“更多 > 详情”,可以查看卡片详情。 列表形式:在对应的“版本号”列下,单击版本号。
基于SQL配置图表 配置oapdruid、oapclickhouse、oapmppdb、oapinfluxdb、oaptsdb数据源后,可以使用druid、clickhouse等数据源基于SQL配置图表,本章节介绍如何基于SQL配置图表并将图表添加至业务报表中。 前提条件 已完成对于数据源的数据开发。
查看服务总览和依赖关系图 概览页面展示了当前产品的默认命名空间下注册到Cloud Map的资源总览情况以及服务的依赖关系图。 查看服务总览 进入AppStage运维中心。 单击,选择“微服务开发 > 服务发现”。 选择左侧导航栏的“服务目录 > 概览”。 选择“服务总览”页签,查
对处于保留期的按需计费资源执行任何操作。 保留期到期后,如果您仍未支付账户欠款,那么ChatGLM3-6B大模型服务API在线调用、大模型微调服务API在线调用-SFT局部调优将无法再使用。 图1 按需计费AI原生应用引擎资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。
为实时监控页面添加图表 支持为实时监控页面添加图表,图表类型包括折线图、表格、Block。一个页面可以添加多个图表,添加后,可以在该页面配置图表布局。本章节以折线图为例介绍如何添加图表。 前提条件 已新增实时监控页面。 已获取服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。
在AppStage中管理产品视图 产品视图是集合AppStage中全量的产品/服务/微服务的信息管理页面,组织管理员可以创建、查看、编辑、删除、发布、同步或下线产品/服务/微服务信息,非组织管理员仅可查看产品/服务/微服务详情。 前提条件 已添加部门。 管理产品视图 登录AppStage首页。
查看系统预置的数据图表 AppStage运维中心可以实时监控应用及资源,采集各项指标及事件等数据以分析应用健康状态,提供全面、清晰、多维度数据可视化能力。 使用对应应用及资源后,可以在“实时监控”页面查看默认面板数据,默认面板展示系统为指标预置的全量数据图表。 如需查看业务指标监
基于数仓配置图表 配置warehouse类型数据源后,可以基于数仓中创建的指标或视图配置图表,本章节介绍如何配置数仓图表。 前提条件 已创建指标或创建视图。 已新增业务报表页面。 已获取服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 配置数仓图表 进入报表开发页面。
新建及管理我的卡片 新建卡片分类为卡片分组 使用在线构建方式新建卡片 使用模板构建方式新建卡片 使用离线构建方式新建卡片 管理我的卡片 父主题: 在运营中心自定义运营看板
在AppStage中管理产品视图 产品视图是集合AppStage中全量的产品/服务/微服务的信息管理页面,组织管理员可以创建、查看、编辑、删除、发布、同步或下线产品/服务/微服务信息,非组织管理员仅可查看产品/服务/微服务详情。 前提条件 已添加部门。 管理产品视图 登录AppStage首页。
}}中。 引用模板提示语内容: 单击输入框右侧的“引用模板”选择我创建的、我收藏的或平台预置的提示语模板。 在“在线优化”页面,参照表2进行参数配置。 表2 提示语在线优化参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。 大括号{} 双大括号{{}}
营中心指标增量包-100个指标 预置模型服务调用 API SaaS:ChatGLM3-6B大模型服务API在线调用 自定义模型训练 API SaaS:大模型微调服务API在线调用-SFT局部调优 说明: 按需仅适用于AppStage的AI原生应用引擎。 变更计费模式 不支持。 不支持。
优化提示语 在AI原生应用引擎的左侧导航栏选择“知识中心 > 提示语”。 在我的提示语列表中,单击操作列的“优化”,参照表1进行参数配置。 表1 在线优化提示语参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。 大括号{} 双大括号{{}} 中括号[] 双中括号[[]]
生费用,请在自动续费扣款日(默认为到期前7日)之前关闭自动续费。 按需计费资源 对于按需计费模式的资源,例如按需计费的大模型微调服务API在线调用-SFT局部调优,如果不再使用这些资源且需停止计费,请删除相应资源。 退订包年包月资源以停止计费 登录AppStage控制台,默认进入AppStage控制台“总览”页。
负载均衡”。 选择左侧导航栏的“监听管理”。 在监听管理页面,单击监听名称。 在监听详情页面选择“后端服务器”页签,检查该后端服务器集群中的节点是否都在线,如果都下线会报此错误。 父主题: SLB同步异常相关问题