检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生成模型服务 将已有模型部署为模型服务 接入模型服务 创建路由策略用于提供模型服务 父主题： 管理模型
本文介绍如何将微调后的模型或部分平台预置的模型部署为模型服务。 前提条件 已购买推理单元资源，具体购买方法请参见购买AI原生应用引擎包年包月资源。 由于在线运行需消耗资源，请确保账户有可用资源，且用户费用状态正常。 需要具备AI原生应用引擎管理员或开发者权限，权限申请操作请参见AppStage组织成员申请权限。
使用在线构建方式新建卡片 支持无模板在线构建图表卡片和表单卡片。 前提条件 需要具备AppStage指标开发者或运营管理员权限，权限申请的操作请参见权限管理。 使用在线构建方式新建图表卡片 登录AppStage业务控制台。 在快捷入口选择“运营中心”，进入运营中心。 在左侧导航栏选择“看板管理
应用指标摸板库生成指标运行失败 问题描述 应用指标摸板库生成指标时，提示运行失败。 处理方法 检查选择的数据源和应用的模型是否匹配。模型对选择的数据是有要求的，数据源和模型之间不匹配，将导致指标运行失败。 父主题： 运营中心
非流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，大语言模型完整生成回答后一次性返回。 流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，逐个字词的快速返回模式，不需等待大语言模型生成完成。 输出最大token数 简称max_tokens，表示模型输出的最大长度。
非流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，大语言模型完整生成回答后一次性返回。 流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，逐个字词的快速返回模式，不需等待大语言模型生成完成。 输出最大token数 表示模型输出的最大长度。 温度 较高的数值
创建完成后，会根据所选实例及指标生成对应的模板数据，显示在模板列表中。同时采集的指标数据会保存在自动生成的Kafka Topic中。 如果生成的模板数量与勾选的指标数量不一致，请确认所选指标是否已购买对应云服务实例并完成相应配置，具体请参见对应的云服务。 一键生成指标。 单击“一键生成”，如图2所示。
自定义看板配置流程介绍 运营看板使用流程如图1所示，包括“新建我的卡片”和“新建我的屏幕”。 图1 使用流程 新建我的卡片 通过在线构建、使用公共卡片模板及离线构建的方式构建自定义卡片。 （可选）新建并发布屏幕模板 通过关联布局和卡片、设置卡片消息联动、配置样例页面来创建屏幕模板。
运营中的重要数据，支撑下一步运营动作，提升产品运营效率。 功能介绍 提供丰富的卡片类型，供看板选用。卡片构建方式包括：使用在线构建方式构建图表卡片、使用在线构建方式构建表单卡片、使用模板构建方式新建卡片、使用离线构建方式新建卡片。 在看板编辑页面，通过拖拉拽的方式，以图表的形式进行呈现，直观展现产品运营看板数据。
M3-6B大模型服务API在线调用、大模型微调服务API在线调用-SFT局部调优，按需计费模式能大幅降低客户的业务成本。 适用计费项 AI原生应用引擎的以下计费项支持按需计费。 表1 适用计费项 计费项 说明 ChatGLM3-6B大模型服务API在线调用 根据实际输入和输出tokens总量计费，平台提供算力支持。
在“上传文档”对话框，选择“交付方式”为“在线文档”，单击“创建文档”，进入文档编辑页面进行内容写作，文档内容将实时自动保存，创建在线文档成功。 如需更换文档交付方式，先删除此在线文档。删除文档后其全部内容将被清空，且内容将无法恢复，请谨慎操作。 （可选）如需更新在线文档，具体操作如下： 返回“
制造 公共事业 金融 互联网 政务 通用行业 适用任务类型 提示语适用的任务类型，包括： 对话问答 NL2SQL 多模生成 任务规划 文案生成 功能调用 代码生成 全功能 标签 为提示语选择标签分类。可从以下几个维度选择（支持多选）： 行业 适用领域 通用 变量标识符 用户可选择以下符号标识提示语内容中的变量。
I，但是该模型能力有限，只能作为问答模型，不能作为思考模型。首次使用该模型服务API需要订购免费的“ChatGLM3-6B大模型服务API在线调用”资源，订购后即可进行体验，订购操作请参见购买AppStage。 平台预置了开源模型Qwen系列、DeepSeek系列等，请参考将已有
选择左侧导航栏的“服务目录 > 一方服务”。 在一方服务页面，选择“微服务实例列表”页签。 单击微服务实例列表操作列的“上线”，将实例调整为上线状态。 下线实例 将在线的微服务调整为下线状态。下线实例将会让微服务实例不再接收流量，请确认后操作。 在微服务实例列表中，单击微服务实例列表操作列的“下线”。 在
提示语优化是针对提示语进行结构、排版、内容等维度进行优化和改进，将大模型的输入限定在了一个特定的范围之中，进而更好地控制模型的输出。通过提供清晰和具体的指令，引导模型输出并生成高相关、高准确且高质量的文本对答内容，属于自然语言处理领域突破的重要技术，可以提升用户的使用体验和效率，减少用户的困惑和误解。 前提条件 已创建提示语。
代码仓管理是开发中心集成代码托管（CodeArts Repo）服务的能力，是遵循Git的基本运行模式的分布式版本管理平台，其具备安全管控、成员/权限管理、分支保护/合并、在线编辑、统计服务等功能，旨在解决软件开发者在跨地域协同、多分支并发、代码版本管理、安全性等方面的问题。 本章节介绍如何使用开发中心集成的CodeArts
代码仓管理是开发中心集成代码托管CodeArts Repo服务的能力，是遵循Git的基本运行模式的分布式版本管理平台，其具备安全管控、成员/权限管理、分支保护/合并、在线编辑、统计服务等功能，旨在解决软件开发者在跨地域协同、多分支并发、代码版本管理、安全性等方面的问题。 关于代码仓管理的常见问题请参见代码托管（CodeArts
微调任务执行完成后，单击“操作”列的“发布”，发布模型。 步骤三：部署模型 部署模型是将模型部署为在线服务，通过创建部署服务实现，创建成功后，可以对在线服务可以进行预测和调用。本文需要为基座模型（原模型）和微调后的新模型分别创建模型服务。由于在线运行需消耗资源，请确保账户未欠费。 在AI原生应用引擎的左侧导航栏选择“模型中心
不支持中文，不能空格。 您也可以单击“自动生成”，自动生成DataSource名称。 SDK种子节点IP SDK种子节点IP信息。 实例种子节点IP 实例种子节点IP信息。 全表扫描 选择是否开启全表扫描。 在线压测 选择是否开启在线压测。 慢查询阈值 超过慢查询阈值的记录为慢sql，默认值为2000。
AppStage开发中心知识库是面向开发团队的知识管理系统，支持知识全生命周期管理，帮助您完成智能、安全的知识作业，提供层级式的目录树、多人在线协同编辑等功能。 目前此功能仅支持白名单用户通过提交工单申请使用。详细操作请参考提交工单。 前提条件 已获取项目经理、开发人员或测试人员角色权限，权限申请方法请参见申请权限。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
