检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文介绍如何将微调后的模型或部分平台预置的模型部署为模型服务。 前提条件 已购买推理单元资源,具体购买方法请参见购买AI原生应用引擎包年包月资源。 由于在线运行需消耗资源,请确保账户有可用资源,且用户费用状态正常。 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。
分别对应了上报时的notice、minor、major和critical。 操作 处理:为这条告警添加一条处理记录,可选的动作有三个,包括人工通知、处理过程和处理结果,对告警添加记录不会影响告警的流程。 单击告警操作列的“处理”,即可处理该告警,也可勾选多个告警,单击告警列表左上方的“批量处理”,处理多条告警。
选择左侧导航栏的“服务目录 > 一方服务”。 在一方服务页面,选择“微服务实例列表”页签。 单击微服务实例列表操作列的“上线”,将实例调整为上线状态。 下线实例 将在线的微服务调整为下线状态。下线实例将会让微服务实例不再接收流量,请确认后操作。 在微服务实例列表中,单击微服务实例列表操作列的“下线”。 在
问题原因 输入问题原因。 问题简述 输入问题简述。 影响描述 输入影响描述。 问题详情 根据用户填写的信息自动生成。 事件通报人 输入问题通报人工号。 事件级别 选择事件级别。事件分为1~4四级,级别从1级到4级严重程度依次下降,1级最严重。 事件分类 选择事件分类,事件是否属于云服务事件。
AppStage开发中心知识库是面向开发团队的知识管理系统,支持知识全生命周期管理,帮助您完成智能、安全的知识作业,提供层级式的目录树、多人在线协同编辑等功能。 目前此功能仅支持白名单用户通过提交工单申请使用。详细操作请参考提交工单。 前提条件 已获取项目经理、开发人员或测试人员角色权限,权限申请方法请参见申请权限。
计费项说明 适用的计费模式 计费公式 ChatGLM3-6B大模型服务API在线调用 根据实际输入和输出tokens总量计费,平台提供算力支持。 按需计费 千tokens * 每千tokens单价 大模型微调服务API在线调用-SFT局部调优 根据实际输入和输出tokens总量计费,平台提供算力支持。
M3-6B服务、大模型调优服务API在线调用。 套餐包单价+按需计费(ChatGLM3-6B服务、大模型调优服务API在线调用) 知识库容量:50GB 智能应用运行时引擎(20实例):2个 ChatGLM3-6B服务、大模型调优服务API在线调用根据实际输入和输出tokens总量计费,计费规则请参考按需计费
仅适用于使用“上传卡片”方式新建的卡片。 编辑卡片 卡片形式:在需要编辑的卡片上,单击“编辑”。 列表形式:在对应的“操作”列下,单击“编辑”。 说明: 适用于使用“在线构建”、“模板构建”方式新建的卡片。 查看卡片详情 卡片形式:单击“更多 > 详情”,可以查看卡片详情。 列表形式:在对应的“版本号”列下,单击版本号。
新建及管理我的卡片 新建卡片分类为卡片分组 使用在线构建方式新建卡片 使用模板构建方式新建卡片 使用离线构建方式新建卡片 管理我的卡片 父主题: 在运营中心自定义运营看板
提供MySQL/Cassandra/GaussDB/DRDS全流程设计、开发、发布、运维(管理、治理、诊断)方案。 可信build-in:过程可信,结果可信,接入安全(无人工接入密码),操作(资源高危操作)安全。 Java Rainbow SDK 表2 SDK jar包介绍 文件夹 SDK分类 对应的jar包
指标 选择需要进行组合的指标。 表达式 按顺序单击列表下方的已选指标和运算符,组成表达式。 保护NaN 支持开启分母为0的保护。 开启后,可以人工指定值,即当分母为0时,取指定值。 父主题: 应用运维
对处于保留期的按需计费资源执行任何操作。 保留期到期后,如果您仍未支付账户欠款,那么ChatGLM3-6B大模型服务API在线调用、大模型微调服务API在线调用-SFT局部调优将无法再使用。 图1 按需计费AI原生应用引擎资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。
营中心指标增量包-100个指标 预置模型服务调用 API SaaS:ChatGLM3-6B大模型服务API在线调用 自定义模型训练 API SaaS:大模型微调服务API在线调用-SFT局部调优 说明: 按需仅适用于AppStage的AI原生应用引擎。 变更计费模式 不支持。 不支持。
负载均衡”。 选择左侧导航栏的“监听管理”。 在监听管理页面,单击监听名称。 在监听详情页面选择“后端服务器”页签,检查该后端服务器集群中的节点是否都在线,如果都下线会报此错误。 父主题: SLB同步异常相关问题
指标 选择需要进行组合的指标。 表达式 按顺序单击列表下方的已选指标和运算符,组成表达式。 保护NaN 支持开启分母为0的保护。 开启后,可以人工指定值,即当分母为0时,取指定值。 父主题: 管理指标仓库
微调任务执行完成后,单击“操作”列的“发布”,发布模型。 步骤三:部署模型 部署模型是将模型部署为在线服务,通过创建部署服务实现,创建成功后,可以对在线服务可以进行预测和调用。本文需要为基座模型(原模型)和微调后的新模型分别创建模型服务。由于在线运行需消耗资源,请确保账户未欠费。 在AI原生应用引擎的左侧导航栏选择“模型中心
生费用,请在自动续费扣款日(默认为到期前7日)之前关闭自动续费。 按需计费资源 对于按需计费模式的资源,例如按需计费的大模型微调服务API在线调用-SFT局部调优,如果不再使用这些资源且需停止计费,请删除相应资源。 退订包年包月资源以停止计费 登录AppStage控制台,默认进入AppStage控制台“总览”页。
SDK种子节点IP SDK种子节点IP信息。 实例种子节点IP 实例种子节点IP信息。 全表扫描 选择是否开启全表扫描。 在线压测 选择是否开启在线压测。 慢查询阈值 超过慢查询阈值的记录为慢sql,默认值为2000。 请求路由优化 是否开启请求路由优化。开启请求路由优化,可使请求优先访问有数据的节点,减少转发。
}}中。 引用模板提示语内容: 单击输入框右侧的“引用模板”选择我创建的、我收藏的或平台预置的提示语模板。 在“在线优化”页面,参照表2进行参数配置。 表2 提示语在线优化参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。 大括号{} 双大括号{{}}
计费FAQ 如何选择不同的产品? AppStage开发中心、运维中心、运营中心可以分开订购,企业根据自己的使用场景按需开通各个中心。 如何增加告警提示短信容量? AppStage运维中心提供短信提示功能,默认为5条语音或短信/天/实例,当用户需要更多提示告警容量时,需要购买额外的服务扩展包增加告警发送容量。