检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
按需计费资源 对于按需计费模式的资源，例如按需计费的大模型微调服务API在线调用-SFT局部调优，如果不再使用这些资源且需停止计费，请删除相应资源。 退订包年包月资源以停止计费 登录AppStage控制台，默认进入AppStage控制台“总览”页。
≥0 字节/秒（Bytes/Second） ops_node_network_receive_packets 每秒网卡接收的数据包个数。
步骤三：部署模型 部署模型是将模型部署为在线服务，通过创建部署服务实现，创建成功后，可以对在线服务可以进行预测和调用。本文需要为基座模型（原模型）和微调后的新模型分别创建模型服务。由于在线运行需消耗资源，请确保账户未欠费。
在线压测 选择是否开启在线压测。 慢查询阈值 超过慢查询阈值的记录为慢sql，默认值为2000。 请求路由优化 是否开启请求路由优化。开启请求路由优化，可使请求优先访问有数据的节点，减少转发。 PK黑名单 选择是否开启PK黑名单。 单击“新增”，新增一条黑名单配置。
在线压测 选择是否开启在线压测。 慢查询阈值 超过慢查询阈值的记录为慢sql，默认值为2000。 请求路由优化 是否开启请求路由优化。开启请求路由优化，可使请求优先访问有数据的节点，减少转发。 PK黑名单 选择是否开启PK黑名单。 单击“新增”，新增一条黑名单配置。
在“云服务器管理 > 未纳管主机”页面，可以通过OpsAgent状态判断主机OpsAgent是否安装成功。 如果主机的OpsAgent状态为“在线”，表示已安装成功。
Filebeat将作为代理安装在您的服务器上，监控您指定的日志文件或位置，收集日志事件，并将它们转发到kafka，推送到下一个处理点。
知识库 知识库是面向开发团队的知识管理系统，支持知识全生命周期管理，帮助您完成智能、安全的知识作业，提供层级式的目录树、多人在线协同编辑等功能。
响应时间权值：提供最小活跃数（时延）的权重路由，支持业务处理慢的服务实例接收较少的请求，防止系统停止响应。这种负载均衡策略适合请求量少且稳定的应用。 会话粘滞：会话粘滞是负载均衡器上的一种机制，在设定的会话保持时间内，会保证同一用户相关联的访问请求会被分配到同一实例上。
每个服务都运行在自己的进程中，并通过轻量级的通信机制（如HTTP或消息队列）进行相互通信。每个服务都专注于完成特定的业务功能，并且可以独立地进行开发、部署和扩展。
响应时间权值：提供最小活跃数（时延）的权重路由，支持业务处理慢的服务实例接收较少的请求，防止系统停止响应。这种负载均衡策略适合请求量少且稳定的应用。 会话粘滞：会话粘滞是负载均衡器上的一种机制，在设定的会话保持时间内，会保证同一用户相关联的访问请求会被分配到同一实例上。
在“在线优化”页面，参照表2进行参数配置。 表2 提示语在线优化参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。 大括号{} 双大括号{{}} 中括号[] 双中括号[[]] 小括号() 双小括号(()) 提示语内容 显示创建时填写的提示语内容。
在“云服务器管理 > 未纳管主机”页面，可以通过OpsAgent状态判断主机OpsAgent是否安装成功。 如果主机的OpsAgent状态为“在线”，表示已安装成功。
基于NUWA微服务开发框架，预集成构建云服务业务分布式架构所需的各个组件及高可用能力，实现开箱即用。 提供业务运行时管理，支持业务优雅启停、启动加速、在线诊断等能力。 提供流量控制、资源动态伸缩、容错容灾等能力，使能业务具备韧性。
表1 在线优化提示语参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。 大括号{} 双大括号{{}} 中括号[] 双中括号[[]] 小括号() 双小括号(()) 提示语内容 显示创建时填写的提示语内容。
开源模型chatglm3-6b 平台提供了对应的模型服务API，但是该模型能力有限，只能作为问答模型，不能作为思考模型，首次使用该模型服务API需要订购免费的“ChatGLM3-6B大模型服务API在线调用”资源，订购后即可进行调测/体验、调用，订购操作请参见购买AppStage。
主机名规则 包含：主机名包含该字符串 开始于：主机名以该字符串起始，相当于startwith 结束于：主机名以该字符串结束，相当于endwith 正则匹配 ：正则匹配 所有：完全相同 消息匹配 包含：消息包含该字符串 开始于：消息以该字符串起始，相当于startwith 结束于：消息以该字符串结束
细分领域如金融、电网场景，需要对推理结果进行定制调整，则可在AI原生应用引擎使用模型在线微调训练功能，快速生成行业场景定制模型服务，满足用户特定需求。 对话沟通 通过对话沟通，快速理解并响应客户的需求，提供高效的解决方案或信息。
模型管理 用户可以自定义创建模型、模型服务及在线测试模型，检验模型的准确性、可靠性及反应效果。 提示语管理 用户自定义创建的、收藏的以及平台预置的提示语模板进行优化和改进。 大模型微调 提供调整大型语言模型的参数以适应特定任务的过程，通过在与任务相关的数据集上完成模型训练。
在微服务平台变更微服务配置 变更配置是对微服务最后一次部署成功之后的配置进行变更，变更后可以重新启动部署。 变更微服务配置 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“微服务开发 > 微服务平台”。 选择左侧导航栏的“微服务管理”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
