检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤三:部署模型 部署模型是将模型部署为在线服务,通过创建部署服务实现,创建成功后,可以对在线服务可以进行预测和调用。本文需要为基座模型(原模型)和微调后的新模型分别创建模型服务。由于在线运行需消耗资源,请确保账户未欠费。
新建及管理我的卡片 新建卡片分类为卡片分组 使用在线构建方式新建卡片 使用模板构建方式新建卡片 使用离线构建方式新建卡片 管理我的卡片 父主题: 在运营中心自定义运营看板
自定义模型训练 API SaaS:大模型微调服务API在线调用-SFT局部调优 说明: 按需仅适用于AppStage的AI原生应用引擎。
保留期到期后,如果您仍未支付账户欠款,那么ChatGLM3-6B大模型服务API在线调用、大模型微调服务API在线调用-SFT局部调优将无法再使用。 图1 按需计费AI原生应用引擎资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。
在监听详情页面选择“后端服务器”页签,检查该后端服务器集群中的节点是否都在线,如果都下线会报此错误。 父主题: SLB同步异常相关问题
在“在线优化”页面,参照表2进行参数配置。 表2 提示语在线优化参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。
知识库 知识库是面向开发团队的知识管理系统,支持知识全生命周期管理,帮助您完成智能、安全的知识作业,提供层级式的目录树、多人在线协同编辑等功能。
模型API接入接口规范 当前模型网关支持文本对话(Chat)、文本向量化(Embeddings)、文本排序(Rerank)三种类型的API接入。模型API接入之前,请确保符合相对应的接口规范,其中Chat接口和Embeddings接口需要符合OpenAI接口规范,Rerank接口需要符合
按需计费资源 对于按需计费模式的资源,例如按需计费的大模型微调服务API在线调用-SFT局部调优,如果不再使用这些资源且需停止计费,请删除相应资源。 退订包年包月资源以停止计费 登录AppStage控制台,默认进入AppStage控制台“总览”页。
在线压测 选择是否开启在线压测。 慢查询阈值 超过慢查询阈值的记录为慢sql,默认值为2000。 请求路由优化 是否开启请求路由优化。开启请求路由优化,可使请求优先访问有数据的节点,减少转发。 PK黑名单 选择是否开启PK黑名单。 单击“新增”,新增一条黑名单配置。
在线压测 选择是否开启在线压测。 慢查询阈值 超过慢查询阈值的记录为慢sql,默认值为2000。 请求路由优化 是否开启请求路由优化。开启请求路由优化,可使请求优先访问有数据的节点,减少转发。 PK黑名单 选择是否开启PK黑名单。 单击“新增”,新增一条黑名单配置。
在AppStage开发中心创建缺陷 在产品研发过程中,存在各团队、各项目各自为战,产品质量难管控、缺陷修复进度难追踪的问题,严重影响产品交付效率。产品特性和功能在测试验证阶段发现的问题,可以使用缺陷单进行跟踪,对于发现的缺陷进行记录、跟踪、分析和解决,确保产品质量。 缺陷管理是开发中心集成需求管理
表1 在线优化提示语参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。 大括号{} 双大括号{{}} 中括号[] 双中括号[[]] 小括号() 双小括号(()) 提示语内容 可通过以下两种方式定义提示语内容。
创建或关闭告警进行模拟测试 监控服务支持手动创建或关闭告警,对告警的其他规则进行模拟测试。 创建告警:快速创建告警,创建的告警与生成上报的告警流程相同,可以用来测试创建的告警升级规则、告警修复规则、值班组等是否正确生效。 关闭告警:关闭已创建的告警,手动恢复该告警。 前提条件 已获取服务运维岗位权限或运维管理员权限
工具链同步信息接口规格说明 本章节介绍开发中心工具链相关接口规格说明,可以参考对应的接口规格来实现具体的接口,并将接口配置在开发中心工具链集成页面,实现数据同步集成。 同步集成接口规格 参考如下接口规格实现接口并配置工具链同步集成,可以将开发中心中的数据(租户、产品、服务、微服务、
模型管理 用户可以自定义创建模型、模型服务及在线测试模型,检验模型的准确性、可靠性及反应效果。 提示语管理 用户自定义创建的、收藏的以及平台预置的提示语模板进行优化和改进。 大模型微调 提供调整大型语言模型的参数以适应特定任务的过程,通过在与任务相关的数据集上完成模型训练。
支持区域: 华北-北京四 制定测试计划 测试评估 知识库 AppStage开发中心知识库是面向开发团队的知识管理系统,支持知识全生命周期管理,帮助您完成智能、安全的知识作业,提供层级式的目录树、多人在线协同编辑等功能。
提供业务运行时管理,支持业务优雅启停、启动加速、在线诊断等能力。 提供流量控制、资源动态伸缩、容错容灾等能力,使能业务具备韧性。 提供云原生中间件与数据库管理,结合华为面向10亿+移动用户应用治理经验,兼具高并发与高可靠能力。
查看及导出微服务接口契约 微服务场景中的契约是指服务契约,它是基于OpenAPI规范的微服务接口约束规范,是服务端和消费端对于接口的定义。本文介绍如何查看以及导出微服务的接口契约。 查看接口契约 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 服务发现
查看及导出微服务接口契约 微服务场景中的契约是指服务契约,它是基于OpenAPI规范的微服务接口约束规范,是服务端和消费端对于接口的定义。本文介绍如何查看以及导出微服务的接口契约。 查看接口契约 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 服务发现