检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤三:部署模型 部署模型是将模型部署为在线服务,通过创建部署服务实现,创建成功后,可以对在线服务可以进行预测和调用。本文需要为基座模型(原模型)和微调后的新模型分别创建模型服务。由于在线运行需消耗资源,请确保账户未欠费。
产品视图 产品视图是集合AppStage中全量的产品、服务及微服务的信息管理页面,可创建、查看、编辑、删除、发布、同步或下线产品、服务及微服务信息。 前提条件 需要具备组织管理员角色权限,权限申请方法请参见申请权限。具体角色权限说明请参考用户角色和权限说明。 操作步骤 登录AppStage
在“在线优化”页面,参照表2进行参数配置。 表2 提示语在线优化参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。
在线压测 选择是否开启在线压测。 慢查询阈值 超过慢查询阈值的记录为慢sql,默认值为2000。 请求路由优化 是否开启请求路由优化。开启请求路由优化,可使请求优先访问有数据的节点,减少转发。 PK黑名单 选择是否开启PK黑名单。 单击“新增”,新增一条黑名单配置。
在线压测 选择是否开启在线压测。 慢查询阈值 超过慢查询阈值的记录为慢sql,默认值为2000。 请求路由优化 是否开启请求路由优化。开启请求路由优化,可使请求优先访问有数据的节点,减少转发。 PK黑名单 选择是否开启PK黑名单。 单击“新增”,新增一条黑名单配置。
提供业务运行时管理,支持业务优雅启停、启动加速、在线诊断等能力。 提供流量控制、资源动态伸缩、容错容灾等能力,使能业务具备韧性。 提供云原生中间件与数据库管理,结合华为面向10亿+移动用户应用治理经验,兼具高并发与高可靠能力。
成长地图 | 华为云 应用平台 应用平台(AppStage)是基于平台工程理念打造的下一代应用全生命周期管理平台,帮助客户快速高效地实现应用全生命周期管理,为应用构建、运维和运营等生命周期管理活动提供自助式服务能力,目标是通过标准化和自动化的服务来提升用户体验 ,促使客户可以专注于交付应用逻辑和云上业务创新
图解应用平台
为指标创建视图 创建数据视图,后续可以使用视图进行数据业务报表开发、告警配置等运维监控。 如果需要在大盘监控单个指标的报表(如折线型报表),可以创建单指标查询视图。 如果需要在大盘同时监控多个指标(如表格型报表),可以创建多指标组合查询视图。 持久化视图(自定义汇聚粒度)、长期存储视图
已创建我的卡片,具体请参见使用在线构建方式新建卡片、使用模板构建方式新建卡片、使用离线构建方式新建卡片。 新建屏幕模板 登录AppStage业务控制台。 在快捷入口选择“运营中心”,进入运营中心。 在左侧导航栏选择“看板管理 > 公共屏幕模板”。
首次使用该模型服务API需要订购免费的“ChatGLM3-6B大模型服务API在线调用”资源,订购后即可进行调测/体验、调用,订购操作请参见购买AppStage。
表1 在线优化提示语参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。 大括号{} 双大括号{{}} 中括号[] 双中括号[[]] 小括号() 双小括号(()) 提示语内容 可通过以下两种方式定义提示语内容。
在交付件管理页面,用户可以通过创建在线文档或上传离线文档两种方式创建及管理交付件文档,保证版本开发过程阶段性成果沉淀以及过程可追溯。
知识库 知识库是面向开发团队的知识管理系统,支持知识全生命周期管理,帮助您完成智能、安全的知识作业,提供层级式的目录树、多人在线协同编辑等功能。
查看服务总览和依赖关系图 概览页面展示了当前产品下所有的注册到Cloud Map的资源总览情况以及服务的依赖关系图。 查看服务总览 进入AppStage运维中心。 单击,选择“微服务开发 > 服务发现”。 选择左侧导航栏的“服务目录 > 概览”。 选择“服务总览”页签,查看当前产品下所有服务注册到
细分领域如金融、电网场景,需要对推理结果进行定制调整,则可在AI原生应用引擎使用模型在线微调训练功能,快速生成行业场景定制模型服务,满足用户特定需求。 对话沟通 通过对话沟通,快速理解并响应客户的需求,提供高效的解决方案或信息。
在线会话数量 该指标用于统计当前在线的session个数,该值为实时值,单位:Count。 活跃会话数量 该指标用于统计当前所有活跃工作状态下会话个数,该值为实时值,单位:Count。
在线会话数量 该指标用于统计当前在线的session个数,该值为实时值,单位:Count。 活跃会话数量 该指标用于统计当前所有活跃工作状态下会话个数,该值为实时值,单位:Count。
如果主机的OpsAgent状态为“在线”,表示已安装成功。 如果主机的OpsAgent状态为“失败”,表示未安装成功,可以在“任务管理 > OpsAgent任务”页面,查看安装任务日志。 步骤三:分配主机 在“未纳管主机”页面,勾选待纳管的主机,单击“主机分配”。
基于SQL配置图表 配置oapdruid、oapclickhouse、oapmppdb、oapinfluxdb、oaptsdb数据源后,可以使用druid、clickhouse等数据源基于SQL配置图表,本章节介绍如何基于SQL配置图表并将图表添加至业务报表中。 前提条件 已完成对于数据源的数据开发