检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于在线运行需消耗资源,请确保账户有可用资源,且用户费用状态正常。 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 部署模型服务 在AI原生应用引擎的左侧导航栏选择“模型中心 > 我的模型服务”,单击“部署模型服务”。
使用AppStage开发中心知识库管理团队文档 AppStage开发中心知识库是面向开发团队的知识管理系统,支持知识全生命周期管理,帮助您完成智能、安全的知识作业,提供层级式的目录树、多人在线协同编辑等功能。 目前此功能仅支持白名单用户通过提交工单申请使用。
适用于使用“在线构建”、“模板构建”方式新建的卡片。 查看卡片详情 卡片形式:单击“更多 > 详情”,可以查看卡片详情。 列表形式:在对应的“版本号”列下,单击版本号。 预览卡片效果 卡片形式:在需要预览的卡片上,单击“更多 > 预览”。
按需计费 千tokens * 每千tokens单价 大模型微调服务API在线调用-SFT局部调优 根据实际输入和输出tokens总量计费,平台提供算力支持。
支持知识库容量,智能应用运行时引擎,开通ChatGLM3-6B服务、大模型调优服务API在线调用。
指标类型如下: 基础指标:基于逻辑主体创建指标,包含一系列过滤条件和一个聚合规则,例如某视频播放网址视频的下载总数,可以对操作类型type=download进行过滤,同时使用sum对count进行聚合。
自定义模型训练 API SaaS:大模型微调服务API在线调用-SFT局部调优 说明: 按需仅适用于AppStage的AI原生应用引擎。
视频-摘要:支持本地文件上传.mp4、.webm、.wmv、.mov、.avi格式,需对视频填写摘要信息,单个视频最大为100M,总上传大小最大为300M。 表2 接入源数据参数说明 参数名称 参数说明 数据接入 接入方式 选择数据集的接入方式。
保留期到期后,如果您仍未支付账户欠款,那么ChatGLM3-6B大模型服务API在线调用、大模型微调服务API在线调用-SFT局部调优将无法再使用。 图1 按需计费AI原生应用引擎资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。
视频-摘要:支持本地文件上传.mp4、.webm、.wmv、.mov、.avi格式,需对视频填写摘要信息,单个视频最大为100M,总上传大小最大为300M。 数据接入 接入方式 选择数据集的接入方式。支持以下两种方式: 本地上传:数据文件在本地,从本地选择文件进行上传。
指标类型如下: 基础指标:基于逻辑主体创建指标,包含一系列过滤条件和一个聚合规则,例如某视频播放网址视频的下载总数,可以对操作类型type=download进行过滤,同时使用sum对count进行聚合。
在监听详情页面选择“后端服务器”页签,检查该后端服务器集群中的节点是否都在线,如果都下线会报此错误。 父主题: SLB同步异常相关问题
开源模型chatglm3-6b 平台提供了对应的模型服务API,但是该模型能力有限,只能作为问答模型,不能作为思考模型,首次使用该模型服务API需要订购免费的“ChatGLM3-6B大模型服务API在线调用”资源,订购后即可进行调测/体验、调用,订购操作请参见购买AppStage。
步骤三:部署模型 部署模型是将模型部署为在线服务,通过创建部署服务实现,创建成功后,可以对在线服务可以进行预测和调用。本文需要为基座模型(原模型)和微调后的新模型分别创建模型服务。由于在线运行需消耗资源,请确保账户未欠费。
在“在线优化”页面,参照表2进行参数配置。 表2 提示语在线优化参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。 大括号{} 双大括号{{}} 中括号[] 双中括号[[]] 小括号() 双小括号(()) 提示语内容 显示创建时填写的提示语内容。
按需计费资源 对于按需计费模式的资源,例如按需计费的大模型微调服务API在线调用-SFT局部调优,如果不再使用这些资源且需停止计费,请删除相应资源。 退订包年包月资源以停止计费 登录AppStage控制台,默认进入AppStage控制台“总览”页。
在线压测 选择是否开启在线压测。 慢查询阈值 超过慢查询阈值的记录为慢sql,默认值为2000。 请求路由优化 是否开启请求路由优化。开启请求路由优化,可使请求优先访问有数据的节点,减少转发。 PK黑名单 选择是否开启PK黑名单。 单击“新增”,新增一条黑名单配置。
在线压测 选择是否开启在线压测。 慢查询阈值 超过慢查询阈值的记录为慢sql,默认值为2000。 请求路由优化 是否开启请求路由优化。开启请求路由优化,可使请求优先访问有数据的节点,减少转发。 PK黑名单 选择是否开启PK黑名单。 单击“新增”,新增一条黑名单配置。
表1 在线优化提示语参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。 大括号{} 双大括号{{}} 中括号[] 双中括号[[]] 小括号() 双小括号(()) 提示语内容 显示创建时填写的提示语内容。
提供业务运行时管理,支持业务优雅启停、启动加速、在线诊断等能力。 提供流量控制、资源动态伸缩、容错容灾等能力,使能业务具备韧性。 提供云原生中间件与数据库管理,结合华为面向10亿+移动用户应用治理经验,兼具高并发与高可靠能力。