检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
保留期到期后,如果您仍未支付账户欠款,那么ChatGLM3-6B大模型服务API在线调用、大模型微调服务API在线调用-SFT局部调优将无法再使用。 图1 按需计费AI原生应用引擎资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。
在监听详情页面选择“后端服务器”页签,检查该后端服务器集群中的节点是否都在线,如果都下线会报此错误。 父主题: SLB同步异常相关问题
展开组件代码包,显示各版本的组件代码包,可以下载、解析、去激活组件代码包,如图2所示。 已激活的版本,如需回退到之前的版本,可以把新版本的代码包“去激活”,变更后即可回退为最后一个激活的版本。 图2 组件代码包 管理Chart包 进入AppStage运维中心。
│ │ └── resources.yaml # 组件一的资源列表 │ ├── WiseEyeChaosMonkeyPortal # 组件二:ChaosMonkey 网页服务 │ │ └── resources.yaml
步骤三:部署模型 部署模型是将模型部署为在线服务,通过创建部署服务实现,创建成功后,可以对在线服务可以进行预测和调用。本文需要为基座模型(原模型)和微调后的新模型分别创建模型服务。由于在线运行需消耗资源,请确保账户未欠费。
按需计费资源 对于按需计费模式的资源,例如按需计费的大模型微调服务API在线调用-SFT局部调优,如果不再使用这些资源且需停止计费,请删除相应资源。 退订包年包月资源以停止计费 登录AppStage控制台,默认进入AppStage控制台“总览”页。
在“在线优化”页面,参照表2进行参数配置。 表2 提示语在线优化参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。
在线压测 选择是否开启在线压测。 慢查询阈值 超过慢查询阈值的记录为慢sql,默认值为2000。 请求路由优化 是否开启请求路由优化。开启请求路由优化,可使请求优先访问有数据的节点,减少转发。 PK黑名单 选择是否开启PK黑名单。 单击“新增”,新增一条黑名单配置。
提供业务运行时管理,支持业务优雅启停、启动加速、在线诊断等能力。 提供流量控制、资源动态伸缩、容错容灾等能力,使能业务具备韧性。 提供云原生中间件与数据库管理,结合华为面向10亿+移动用户应用治理经验,兼具高并发与高可靠能力。
当接收到匹配的请求时,起始节点会解析请求中的参数,并根据这些参数来初始化工作流实例。 表4 起始节点配置参数说明 参数 说明 API请求方式 在下拉列表中可选择以下API请求方式: get:用于从服务器获取数据,通常使用URL参数传递数据。
表1 在线优化提示语参数说明 参数名称 参数说明 变量标识符 可选择以下符号标识提示语内容中的变量。 大括号{} 双大括号{{}} 中括号[] 双中括号[[]] 小括号() 双小括号(()) 提示语内容 可通过以下两种方式定义提示语内容。
知识库 知识库是面向开发团队的知识管理系统,支持知识全生命周期管理,帮助您完成智能、安全的知识作业,提供层级式的目录树、多人在线协同编辑等功能。
如果主机的OpsAgent状态为“在线”,表示已安装成功。 如果主机的OpsAgent状态为“失败”,表示未安装成功,可以在“OpsAgent任务”页面,查看安装任务日志。 步骤三:分配主机 在“未纳管主机”页面,勾选待纳管的主机,单击“主机分配”。
在交付件管理页面,用户可以通过创建在线文档或上传离线文档两种方式创建及管理交付件文档,保证版本开发过程阶段性成果沉淀以及过程可追溯。
已创建我的卡片,具体请参见使用在线构建方式新建卡片、使用模板构建方式新建卡片、使用离线构建方式新建卡片。 新建屏幕模板 登录AppStage业务控制台。 在快捷入口选择“运营中心”,进入运营中心。 在左侧导航栏选择“看板管理 > 公共屏幕模板”。
在线会话数量 该指标用于统计当前在线的session个数,该值为实时值,单位:Count。 活跃会话数量 该指标用于统计当前所有活跃工作状态下会话个数,该值为实时值,单位:Count。
当屏幕中存在非在线构建的卡片,屏幕不能分享。 Token校验 客户端在使用Token校验的流程如下。 已获取大屏分享链接和Token。 例如,分享链接https://console.ulanqab.huawei.com/sve/preview.html?
细分领域如金融、电网场景,需要对推理结果进行定制调整,则可在AI原生应用引擎使用模型在线微调训练功能,快速生成行业场景定制模型服务,满足用户特定需求。 对话沟通 通过对话沟通,快速理解并响应客户的需求,提供高效的解决方案或信息。
如果主机的OpsAgent状态为“在线”,表示已安装成功。 如果主机的OpsAgent状态为“失败”,表示未安装成功,可以在“OpsAgent任务”页面,查看安装任务日志。
模型管理 用户可以自定义创建模型、模型服务及在线测试模型,检验模型的准确性、可靠性及反应效果。 提示语管理 用户自定义创建的、收藏的以及平台预置的提示语模板进行优化和改进。 大模型微调 提供调整大型语言模型的参数以适应特定任务的过程,通过在与任务相关的数据集上完成模型训练。