检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
种: 普通接口(一级) 次重要接口(二级) 重要接口(三级) 次核心接口(四级) 核心接口(五级) 接口默认等级 页面过滤条件未匹配到等级的请求,等级被设为接口默认等级。包括以下几种: 普通接口(一级) 次重要接口(二级) 重要接口(三级) 次核心接口(四级) 核心接口(五级)
提供AI原生应用开发引擎,包括RAG、Agent等应用框架,零码态和全码态的开发形态,降低AI原生应用开发门槛、提升开发效率。支持客户打通自己的业务能力API,将大模型的能力结合进入自己的业务链路。 提供支撑AI原生应用运行的整套模型工具链,包括数据管理、模型接入、模型调优、知识工程等能力,帮助
log中提示“Started {微服务名称} in *** seconds (JVM running for ***)”,表示业务可以正常启动。 验证接口能否正常调用 验证接口能否正常调用,本实践中以验证Cloud Map间的相互通信及OrgID的登录流程为例。 配置host。 打开C:\Windows
structure as Code,简称IaC)来描述。NUWA Runtime根据IaC描述,对接相关的配置服务器,通过弹性伸缩管理平台接口,完成部署。应用托管到NUWA Runtime以后,Runtime提供IaC和管理台两种方式对集群进行变更。业务通过发布IaC版本,在运维
体验Agent Agent体验是指以对话的形式,对我创建的Agent或平台资产中心预置的AI应用进行体验调测,以发现并解决Agent接口上的问题和错误。 体验我创建的Agent 在AI原生应用引擎的左侧导航栏选择“Agent编排中心 > 我的Agent”。 选择“我创建的”页签,
将已有模型部署为模型服务 模型需要部署成功后才可正式提供模型服务。部署成功后,可以对模型服务进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 本文介绍如何将微调后的模型或部分平台预置的模型部署为模型服务。 前提条件 已购买推理单元资源,具体购买方法请参见购买AI原生应用引擎包年包月资源。
图5 授权设置 自行选择授权范围。 图6 选择授权范围 查看创建好的Demo应用配置密钥。 在应用管理页面,选择“通用配置”,复制接口认证凭证。 接口认证凭证为OrgID侧生成的应用密钥,请开发者妥善保管。 图7 查看应用密钥 修改Demo工程的应用配置信息。 将application
<=102400 isAgg 否 是否聚合,0不聚合 1 聚合,默认不聚合 limit 否 limit大小 接口级流控,ip流控,服务级流控,单参数流控必填,其他类型流控无效 burst 否 突发量 接口级流控,ip流控,服务级流控,单参数流控必填,其他类型流控无效 limitTag 否 自定义标签
个可用的模型提供服务,从而提高模型服务的稳定性和可用性。 路由策略创建完成后,可以进行模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 创建路由策略 在AI原生应用引擎的左侧导航栏选择“模型中心
10的突发量,如用到则触发保护,下个1/10s不得再用。 (可选)如果需要对特定接口uri进行特别的流控策略,则单击“新建子项”。 表7 特定接口uri流控参数说明 参数 说明 接口URL 流控的接口URL。 匹配条件 equal pettern 限流门限值 单个子项的限流门限值。
概述 系统架构 图1 SLB系统架构 系统架构说明: 调用部署服务接口获取业务微服务列表,以及发布的微服务版本信息,用于配置不同微服务版本的灰度策略。 运维在灰度发布管理台配置微服务灰度策略,支持配置同一个微服务不同版本的灰度规则,以及不同微服务相同的灰度规则。 微服务的灰度策略同步到灰度配置中心。
无模型时配置的阈值上限(固定阈值线)。 对于新增的接口,因为没有历史数据,无法训练出该接口的模型,此时可以配置合适的值用来监控此类接口。 no_model_threshold_lower 无模型阈值下限 0-100000000 默认值0 无模型时配置的阈值下限(固定阈值线)。 对于新增的接口,因为没有历史数据,
CPU利用率超过该值时,接口的放通比例开始降低,直到降低至最低放通比例;CPU利用率越高,接口放通比例下降越快。该阈值要求为小数,范围为0~1,支持精度为小数点后四位。 CPU恢复阈值 CPU利用率小于该值时,接口的放通比例开始恢复,直到恢复至100%;CPU利用率越低,接口放通比例恢复越
IP流控告警阈值 如果“IP流控”次数达到阈值将产生告警。对应配置文件中的 config.ALARM_IP_THRESHOLD。 接口流控告警阈值 如果“接口级流控”次数达到阈值将产生告警。对应配置文件中的 config.ALARM_URL_THRESHOLD。 统计日志参数 - 配置完成后,单击“保存”。
partial_variable dict False 格式化模板的部分变量 validate_template bool False 是否尝试验证模板 接口调用 PromptTemplate.from_template 参数说明 表2 参数说明 参数名称 参数类型 是否必选 参数描述 template
ysdk.properties文件是否配置了username)。 jsonRuleFilePath没有配置。 灰度规则匹配失败 调用SDK接口执行灰度规则匹配失败,一般原因有如下几种: 实际传入的参数和值,不满足配置的微服务灰度规则。 灰度开关关闭(检查conf/graysdk.
以看到DemoServiceA、DemoServiceB的信息。 图10 查看微服务注册信息 调用接口:http://localhost:8082/order/1。 图11 调用接口 父主题: 开发指导
也支持批量删除多条微服务,具体介绍请参见在CloudMap中删除微服务。 查看微服务详情 在微服务列表中,单击微服务名,可以查看微服务的版本列表、微服务实例列表、接口契约、依赖关系、SLB后端集群等信息。 父主题: 查看注册到CloudMap的微服务信息
的微调量取决于任务的复杂性和数据集的大小。在深度学习中,微调用于改进预训练模型的性能。操作本步骤前请确保以下两点: 已订购大模型微调服务API在线调用-SFT局部调优,订购方法请参见购买AI原生应用引擎按需计费资源。 已创建格式为“对话文本”的微调数据集。 在AI原生应用引擎的左侧导航栏选择“模型中心
表1 添加自定义交付件参数说明 参数名称 参数说明 交付件类型 交付件的类型,包括自定义和系统预置(产品需求文档、升级指导书、版本配套表、软件接口文档、业务上线验收用例、系统设计说明书、上线申请评估材料、测试报告)。 交付件名称 设置交付件的名称。 建议处理角色(可选) 设置建议处理