检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
微服务一般会部署多个实例,负载均衡控制微服务消费者访问微服务提供者的多个实例的策略,以达到流量均衡的目的。策略包括轮询、随机、响应时间权值、会话粘滞等。 限流 用于控制访问微服务的请求量大小,避免由于流量冲击对系统造成破坏。 故障隔离 - 降级 用于控制微服务调用其他微服务的时候,强制返
将平台预置的应用部署和用户自己创建的应用部署进行API调测,帮助开发人员发现并解决应用接口上的问题和错误。 数据管理 数据管理中纳管了用户自定义的和平台预置的数据集,用户使用这些数据集进行模型训练、知识库构建等,快速完成平台使用并验证模型训练效果。 模型管理 用户可以自定义创建模型、模型服务及在线测试模型,检验模型的准确性、可靠性及反应效果。
如何对平台接入的第三方模型服务设置鉴权 平台资产中心接入了第三方供应商的闭源模型,例如GLM系列、Moonshot系列等,这些模型服务在调测(体验)、调用前,需要先设置模型鉴权。 前提条件 需要具备AI原生应用引擎管理员权限,权限申请操作请参见AppStage组织成员申请权限。 操作步骤
体验Agent Agent体验是指以对话的形式,对自创建的Agent或平台资产中心预置的AI应用进行体验调测,以发现并解决Agent接口上的问题和错误。 体验我的Agent 在AI原生应用引擎的左侧导航栏选择“Agent编排中心 > 我的Agent”。 选择“我创建的”页签,单击Agent列表“操作”列的“体验”。
负载均衡:负载均衡(Software/Server Load Balancer,简称SLB)基于Nginx/OpenResty构建,作为业务前置的流量开关,提供反向代理;负载均衡、路由分发、灰度分流、限流降级、访问控制、监控告警等能力。 服务发现:服务发现(NUWA Cloud Map,简称Cloud
支持将平台资产中心的部分模型作为微调前基础模型,也支持选择微调后的新模型作为基础模型再次进行微调。 前提条件 已订购大模型微调服务API在线调用-SFT局部调优,订购方法请参见购买AI原生应用引擎按需计费资源。 已具备格式为“对话文本”的微调数据集,具体请参考创建微调数据集或收藏预置微调数据集。
平台支持从多个维度对模型的能力、性能进行评估,以保证模型效果,为模型选型提供可靠依据。 约束与限制 仅支持对文本对话类型的模型服务进行评测。 前提条件 评测模型前,请先通过调测/体验模型功能确认模型可用。 创建评测任务 在AI原生应用引擎的左侧导航栏选择“模型中心 > 模型评测”,单击“创建评测任务”。 在“创建评测任务”弹框中选择“通用维度评测”。
缺陷的闭环。 知识库 知识库是面向开发团队的知识管理系统,支持知识全生命周期管理,帮助您完成智能、安全的知识作业,提供层级式的目录树、多人在线协同编辑等功能。 开发插件库 提供多种预置的开发插件,同时组织管理员可以上传用户需要的其他本地插件至开发插件库进行灵活管理,也可以为插件分类创建标签,便于快速筛选及查找。
模型重试次数 路由策略中单个模型服务的重试次数,取值范围为0-100次。 策略描述 路由策略的描述信息。 在模型调测区域,参考表2调测模型。 表2 模型调测参数说明 参数名称 参数说明 输出方式 可选非流式、流式。二者区别如下: 非流式:调用大语言模型推理服务时,根据用户问题
档、升级指导书、版本配套表等交付件类型,同时可以添加自定义类型交付件,并为交付件上传文件作为交付件模板。在交付件管理页面,用户可以通过创建在线文档或上传离线文档两种方式创建及管理交付件文档,保证版本开发过程阶段性成果沉淀以及过程可追溯。 版本基线化 版本基线化是指在版本发布前,选
命令。 使用root账号远程登录主机后,执行安装命令安装OpsAgent。 安装完成后,未纳管主机列表中,该主机的OpsAgent状态为“在线”。 远程安装:选择虚拟私有云下已经安装了OpsAgent的主机作为安装机,安装机将作为中间桥梁安装OpsAgent到同虚拟私有云下的其他主机。
义屏幕构建。 前提条件 需要具备AppStage指标开发者或运营管理员权限,权限申请的操作请参见权限管理。 已创建我的卡片,具体请参见使用在线构建方式新建卡片、使用模板构建方式新建卡片、使用离线构建方式新建卡片。 新建屏幕模板 登录AppStage业务控制台。 在快捷入口选择“运营中心”,进入运营中心。
请参考表1配置起始节点参数,配置完成后可以单击“设置参数”,对当前节点进行正确性测试。调测成功后,会将测试的输出数据(即样本数据)及输入数据进行展示,并会在该条节点的左上角标记图标。如果提示“调测失败,请检查接口参数配置是否准确”,请检查并重新配置参数后重试。 表1 起始节点配置参数说明
en。发布后,通过Token校验获取新的访问链接,使用新的访问链接查看此屏幕。Token校验方法请参考“Token校验”。 当屏幕中存在非在线构建的卡片,屏幕不能分享。 Token校验 客户端在使用Token校验的流程如下。 已获取大屏分享链接和Token。 例如,分享链接https://console
在“云服务器管理 > 未纳管主机”页面,可以通过OpsAgent状态判断主机OpsAgent是否安装成功。 如果主机的OpsAgent状态为“在线”,表示已安装成功。 如果主机的OpsAgent状态为“失败”,表示未安装成功,可以在“任务管理 > OpsAgent任务”页面,查看安装任务日志。
设规则自动化执行流程,从而提高工作效率和准确性。 ClickHouse ClickHouse是一个开源的分布式列式数据库管理系统,主要用于在线分析处理(OLAP)场景。它具有高性能、高可靠性、高可扩展性等特点,可以处理海量数据,支持复杂的查询和数据分析操作。ClickHouse支
可以选择对应服务下单个或多个微服务。 告警指标 长时间拨测状态 大量实例下线 指标配置 当告警指标为长时间拨测状态时,配置存在实例持续X分钟拨测状态未更新,X范围:1~30,表示微服务实例注册到CloudMap后,如果某个实例或多个实例的状态变成了拨测状态,且状态持续时间超过了X分钟就会触发告警。
可以选择对应服务下单个或多个微服务。 告警指标 长时间拨测状态 大量实例下线 指标配置 当告警指标为长时间拨测状态时,配置存在实例持续X分钟拨测状态未更新,X范围:1~30,表示微服务实例注册到CloudMap后,如果某个实例或多个实例的状态变成了拨测状态,且状态持续时间超过了X分钟就会触发告警。
单击“设置参数”,输入参数,用于调测工作流。 (可选)单击其他后续节点,在界面参数配置面板中单击“调测节点”,对当前节点进行正确性测试。调测成功后,会将测试的输出数据(即样本数据)及输入数据进行展示,并会在该条节点的左上角标记图标。如果提示“调测失败,请检查接口参数配置是否准确”,请检查并重新配置参数后重试。
对于匹配类型为正则匹配,支持Java正则表达式,只支持配置一个正则表达式;名称不允许存在中文及空格;通配符和正则匹配到的多个不同接口会各自统计流量信息各自流控。 在弹出框中单击“确认”。 新增流控规则 流控规则支持针对微服务/接口的资源流控、不区分微服务接口的全局参数流控和节点级动态流控规则。