检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在SLB中创建资源组 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 在SLB中创建资源组 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“资源管理 > 资源组”。
(可选)录入HTTPS监听所需的服务器证书 配置HTTPS监听时,涉及服务器身份验证,需要为监听绑定服务器证书。本文介绍如何录入服务器证书。 前提条件 已获取服务器证书。 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 创建证书 进入AppStage运维中心。
运行时引擎负载均衡功能介绍 负载均衡(Software/Server Load Balancer,SLB)基于Nginx/OpenResty构建,作为业务前置的流量接入网关,提供反向代理、负载均衡、路由分发、灰度分流、限流降级、访问控制、监控告警等能力。 SLB组件介绍 SLB组件间的关系如图1所示。
运维中心负载均衡功能介绍 负载均衡(Software/Server Load Balancer,SLB)基于Nginx/OpenResty构建,作为业务前置的流量接入网关,提供反向代理、负载均衡、路由分发、灰度分流、限流降级、访问控制、监控告警等能力。 SLB组件介绍 SLB组件间的关系如图1所示。
创建告警定义规则定义需要上报的告警 如果您对于繁琐复杂的告警上报字段感到困惑,可以使用统一告警定义,该功能会自动下发到业务对应的agent,使用更加人性化的界面设计,让告警上报更加统一、准确。 告警定义依赖于业务在数据采集时部署了对应的Agent和数据采集的插件,首先需要有持续的采集数据上报,告警定义才能生效。
(可选)录入HTTPS监听所需的服务器证书 配置HTTPS监听时,涉及服务器身份验证,需要为监听绑定服务器证书。本文介绍如何录入服务器证书。 前提条件 已获取服务器证书。 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 创建证书 进入AppStage运维中心。
接入模型服务 支持通过API接入模型服务,模型服务接入后,可以进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 模型API接入之前,请确保符合相对应的接口
ModelRouter 导入ModelRouter from wiseagent_dev_sdk_python.modules.models import ModelRouter ModelRouter提供了AI原生应用引擎模型网关的接口,可以访问AI原生应用引擎上的模型,接口调用类似OpenAI。
在SLB中创建流控服务 CPU过载控制OLC(Overload Control)是一种CPU过载调控机制。当CPU过载时,OLC能够对受监控协议报文和任务进行调控,通过不同优先级业务的合理规划和限制报文通过等方式,降低对CPU资源的消耗,并确保设备不会因为某种受监控协议或任务冲击
在SLB中创建OLC服务 CPU过载控制OLC(Overload Control)是一种CPU过载调控机制。当CPU过载时,OLC能够对受监控协议报文和任务进行调控,通过不同优先级业务的合理规划和限制报文通过等方式,降低对CPU资源的消耗,并确保设备不会因为某种受监控协议或任务冲
模型API接入接口规范 当前模型网关支持文本对话(Chat)、文本向量化(Embeddings)、文本排序(Rerank)三种类型的API接入。模型API接入之前,请确保符合相对应的接口规范,其中Chat接口和Embeddings接口需要符合OpenAI接口规范,Rerank接口需要符合AI引擎标准协议。
创建WeLink触发规则使用WeLink消息触发并执行EAP流程 通过WeLink触发规则可以使用WeLink消息触发并执行welink_trigger类型的流程。 前提条件 已获取服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 已创建类型为welink_trigger的流程,具体操作请参见创建流程。
创建路由策略用于提供模型服务 通过配置路由策略,可以实现模型故障自动切换能力,当模型A因故障等原因无法正常工作时,可以自动切换为另一个可用的模型提供服务,从而提高模型服务的稳定性和可用性。 路由策略创建完成后,可以进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。
什么是AppStage运行时引擎 AppStage运行时引擎提供了NUWA微服务框架,NUWA是一个开箱即用的应用级容器,兼容开源Spring Cloud微服务,预集成构建云服务业务分布式架构所需的各个组件(微服务框架、数据库、通用中间件、安全中间件、公共服务等)及DFX(Design
在AppStage开发中心管理插件 用户在代码开发中时常用到多种插件,除开发中心系统预置插件外,用户还可将自己需要的其他本地插件上传至开发中心进行灵活管理,也可以为插件分类创建标签,便于快速筛选及查找。 组织管理员可以在“插件管理”页面添加或管理插件,其他成员可以在开发插件库中查看插件详情或下载插件。
在SLB中配置黑白名单 黑名单对于请求进行一定筛选条件下的拒绝。 白名单相当于VIP,白名单上匹配的请求,将跳过黑名单以及流控规则限制。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 配置黑白名单 进入AppStage运维中心。
方案概述 背景信息 随着业务数量增多,业务的数据开发需求也逐渐增多, 数据开发人员不能快速支撑业务的开发需求,了解业务的人员设计和开发业务的数据资产可以使数据发挥最大价值,因此需要业务人员来主导业务的数据治理开发工作。 数据治理的核心就是管理好业务的数据资产,随着业务特性和业务复
在SLB中配置黑白名单 黑名单对于请求进行一定筛选条件下的拒绝。 白名单相当于VIP,白名单上匹配的请求,将跳过黑名单以及流控规则限制。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 配置黑白名单 进入AppStage运维中心。
创建运维中心变更电子流 本章节介绍如何创建变更电子流。 创建变更电子流 进入AppStage运维中心。 将鼠标悬停在右上角的账号,选择下拉列表中的“工单管理”,默认显示“变更单管理”页面。 单击“新建”。 配置电子流参数,参数说明如表1所示,配置完成后,单击“提交”。 页面带“*
将已有模型部署为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后,可以对模型服务进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 本文介绍如何将微调后的模型或部分平台预置的模型部署为模型服务。 前提条件 已购买推理单元资源,具体购买方法请参见购买AI原生应用引擎包年包月资源。