检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
仅适用于使用“上传卡片”方式新建的卡片。 编辑卡片 卡片形式:在需要编辑的卡片上,单击“编辑”。 列表形式:在对应的“操作”列下,单击“编辑”。 适用于使用“在线构建”、“模板构建”方式新建的卡片。 查看卡片详情 卡片形式:单击“更多 > 详情”,可以查看卡片详情。 列表形式:在对应的“版本号”列下,单击版本号。
本文介绍如何将微调后的模型、部分平台资产中心的模型或我创建的模型部署为模型服务。 前提条件 已购买推理单元资源,具体购买方法请参见购买AI原生应用引擎包年包月资源。 由于在线运行需消耗资源,请确保账户有可用资源,且用户费用状态正常。 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。
计费项说明 适用的计费模式 计费公式 ChatGLM3-6B大模型服务API在线调用 根据实际输入和输出tokens总量计费,平台提供算力支持。 按需计费 千tokens * 每千tokens单价 大模型微调服务API在线调用-SFT局部调优 根据实际输入和输出tokens总量计费,平台提供算力支持。
M3-6B服务、大模型调优服务API在线调用。 套餐包单价+按需计费(ChatGLM3-6B服务、大模型调优服务API在线调用) 知识库容量:50GB 智能应用运行时引擎(20实例):2个 ChatGLM3-6B服务、大模型调优服务API在线调用根据实际输入和输出tokens总量计费,计费规则请参考按需计费
Pod名称 实例个数 container cpu request cpu limit memory request memory limit 代理插件 cluster-agent ers-manager ers-cluster-agent 1 ers-agent-register 100m
Map服务业务能力的目的。 Java Cloud Map SDK SLB的SDK:Gray SDK Gray SDK负责业务的负载均衡,Nginx组件通过反向代理实现了业务的负载均衡,通过丰富的扩展功能,可以对HTTP消息定制丰富的控制策略。 使用Gray SDK即可使用运维中心负载均衡(SLB)的灰度管理功能。
在“云服务器管理 > 未纳管主机”页面,可以通过OpsAgent状态判断主机OpsAgent是否安装成功。 如果主机的OpsAgent状态为“在线”,表示已安装成功。 如果主机的OpsAgent状态为“失败”,表示未安装成功,可以在“任务管理 > OpsAgent任务”页面,查看安装任务日志。
AppStage开发中心知识库是面向开发团队的知识管理系统,支持知识全生命周期管理,帮助您完成智能、安全的知识作业,提供层级式的目录树、多人在线协同编辑等功能。 目前此功能仅支持白名单用户通过提交工单申请使用。详细操作请参考提交工单。 前提条件 已获取项目经理、开发人员或测试人员角色权限,权限申请方法请参见申请权限。
新建及管理我的卡片 新建卡片分类为卡片分组 使用在线构建方式新建卡片 使用模板构建方式新建卡片 使用离线构建方式新建卡片 管理我的卡片 父主题: 在运营中心自定义运营看板
营中心指标增量包-100个指标 预置模型服务调用 API SaaS:ChatGLM3-6B大模型服务API在线调用 自定义模型训练 API SaaS:大模型微调服务API在线调用-SFT局部调优 说明: 按需仅适用于AppStage的AI原生应用引擎。 变更计费模式 不支持。 不支持。
对处于保留期的按需计费资源执行任何操作。 保留期到期后,如果您仍未支付账户欠款,那么ChatGLM3-6B大模型服务API在线调用、大模型微调服务API在线调用-SFT局部调优将无法再使用。 图1 按需计费AI原生应用引擎资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。
unt/s。 在线会话数量 该指标用于统计当前在线的session个数,该值为实时值,单位:Count。 活跃会话数量 该指标用于统计当前所有活跃工作状态下会话个数,该值为实时值,单位:Count。 在线会话率 该指标用于统计CN(分布式)/主DN(主备版)上的在线会话比例,该值为实时值,单位:%。
unt/s。 在线会话数量 该指标用于统计当前在线的session个数,该值为实时值,单位:Count。 活跃会话数量 该指标用于统计当前所有活跃工作状态下会话个数,该值为实时值,单位:Count。 在线会话率 该指标用于统计CN(分布式)/主DN(主备版)上的在线会话比例,该值为实时值,单位:%。
数据管理中纳管了用户自定义的和平台预置的数据集,用户使用这些数据集进行模型训练、知识库构建等,快速完成平台使用并验证模型训练效果。 模型管理 用户可以自定义创建模型、模型服务及在线测试模型,检验模型的准确性、可靠性及反应效果。 提示语管理 用户自定义创建的、收藏的以及平台预置的提示语模板进行优化和改进。 大模型微调
设规则自动化执行流程,从而提高工作效率和准确性。 ClickHouse ClickHouse是一个开源的分布式列式数据库管理系统,主要用于在线分析处理(OLAP)场景。它具有高性能、高可靠性、高可扩展性等特点,可以处理海量数据,支持复杂的查询和数据分析操作。ClickHouse支
# 组件一的资源列表 ├── WiseEyeChaosMonkeyPortal # 组件二:ChaosMonkey网页服务 │ └── resources.yaml # 组件二的资源列表 ├── environment
平台提供了对应的模型服务API,但是该模型能力有限,只能作为问答模型,不能作为思考模型,首次使用该模型服务API需要订购免费的“ChatGLM3-6B大模型服务API在线调用”资源,订购后即可进行调测/体验、调用,订购操作请参见购买AppStage。 开源模型bge-reranker-large、bge-large-zh-v1
微调任务执行完成后,单击“操作”列的“发布”,发布模型。 步骤三:部署模型 部署模型是将模型部署为在线服务,通过创建部署服务实现,创建成功后,可以对在线服务可以进行预测和调用。本文需要为基座模型(原模型)和微调后的新模型分别创建模型服务。由于在线运行需消耗资源,请确保账户未欠费。 在AI原生应用引擎的左侧导航栏选择“模型中心
生费用,请在自动续费扣款日(默认为到期前7日)之前关闭自动续费。 按需计费资源 对于按需计费模式的资源,例如按需计费的大模型微调服务API在线调用-SFT局部调优,如果不再使用这些资源且需停止计费,请删除相应资源。 退订包年包月资源以停止计费 登录AppStage控制台,默认进入AppStage控制台“总览”页。
}}中。 引用模板提示语内容: 单击输入框右侧的“引用模板”选择我创建的、我收藏的或平台预置的提示语模板。 在“在线优化”页面,参照表2进行参数配置。 表2 提示语在线优化参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。 大括号{} 双大括号{{}}