检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自接入的模型在模型调测的时候报错是什么原因? 接入第三方模型服务时,填写的模型名称必须为该模型的模型ID/模型编码(登录第三方模型厂商官网查看),例如:Baichuan4、deepseek-chat、glm-4-air,如图1所示,否则会导致模型不可用。 图1 接入模型服务 父主题:
型卡片并单击“体验”,进入模型调测页面。 在“模型调测”页面,可调测文本对话类型模型、文本生图类型模型、图像理解类型模型、语音转文本类型模型、文本向量化类型模型、文本转语言类型模型、工具调用类型模型以及文本排序类型模型。 调测文本对话类型模型,具体操作如下: 在“模型类型”下选择“文本对话”并配置表1所示参数。
体验Agent Agent体验是指以对话的形式,对我创建的Agent或平台资产中心预置的AI应用进行体验调测,以发现并解决Agent接口上的问题和错误。 体验Agent 在AI原生应用引擎的左侧导航栏选择“Agent编排中心 > 我的Agent”。 选择“我创建的”页签,单击Agent列表“操作”列的“体验”。
可以选择对应服务下单个或多个微服务。 告警指标 长时间拨测状态 大量实例下线 指标配置 当告警指标为长时间拨测状态时,配置存在实例持续X分钟拨测状态未更新,X范围:1~30,表示微服务实例注册到CloudMap后,如果某个实例或多个实例的状态变成了拨测状态,且状态持续时间超过了X分钟就会触发告警。
Agent问答的时候没有回答 思考模型没有配置鉴权,或者鉴权失效了,可以通过模型调测功能测试思考模型是否正常,具体操作请参见调测/体验模型。 父主题: AI原生应用引擎
模型调测时,无法选择模型服务商API是什么原因? 对模型服务商API调测前,需要先设置鉴权,具体操作请参见如何对模型供应商提供的模型服务设置鉴权。 父主题: AI原生应用引擎
CCE/EVS/ECS/ELB/IAM/IMS/NAT/EIP/OBS/SFS/SMN/SWR/DCS/VPC/VPCEP/WAF/HSS/Anti-DDoS/DWS/CES/DRS/DEW/DDS/APIG/MRS/CSS/DMS/TaurusDB/GeminiDB Cassandra/GeminiDB
说明 上下线微服务实例 在实例列表中,单击操作列的“上线”或“下线”,具体介绍请参见调整微服务实例状态。 设置微服务实例为拨测状态 在实例列表中,单击操作列的“拨测”。 添加实例标签 在实例列表中,单击操作列的“标签管理”。 父主题: 查看和管理注册到CloudMap的微服务实例
可以选择对应服务下单个或多个微服务。 告警指标 长时间拨测状态 大量实例下线 指标配置 当告警指标为长时间拨测状态时,配置存在实例持续X分钟拨测状态未更新,X范围:1~30,表示微服务实例注册到CloudMap后,如果某个实例或多个实例的状态变成了拨测状态,且状态持续时间超过了X分钟就会触发告警。
发布版本 在AppStage开发中心调测发布版本 在AppStage开发中心标准发布版本
发布 > 调测发布”。 在“调测发布”页面单击“创建活动”,在“创建调测发布活动”页面,设置版本名称、备注(可选)。 调测发布的版本名称与标准发布的主版本名称前三段一致,仅需定义第四段编号,且第四段编号不能与标准发布的主版本名称第四段编号相同。 单击“确定”,在“调测发布”页面的
如何对模型供应商提供的模型服务设置鉴权 租户对模型供应商提供的模型服务调测前需设置鉴权。 前提条件 需要具备AI原生应用引擎管理员权限,权限申请操作请参见AppStage组织成员申请权限。 操作步骤 在AI原生应用引擎左侧导航栏选择“系统管理 > 模型鉴权设置”。 在“模型供应商
模型重试次数 路由策略中单个模型服务的重试次数,取值范围为0-100次。 策略描述 路由策略的描述信息。 在模型调测区域,参考表2调测模型。 表2 模型调测参数说明 参数名称 参数说明 输出方式 可选非流式、流式。二者区别如下: 非流式:调用大语言模型推理服务时,根据用户问题
说明 上下线微服务实例 在实例列表中,单击操作列的“上线”或“下线”,具体介绍请参见调整微服务实例状态。 设置微服务实例为拨测状态 在实例列表中,单击操作列的“拨测”。 添加实例标签 在实例列表中,单击操作列的“标签管理”。 父主题: 查看和管理注册到CloudMap的微服务实例
列等,请参考将已有模型部署为模型服务进行部署,部署后即可进行调测(体验)、调用。 平台预置了第三方厂商闭源模型,例如GLM系列、Moonshot系列等,请先参考如何对模型供应商提供的模型服务设置鉴权设置鉴权,再进行调测(体验)、调用。 父主题: AI原生应用引擎
流控而失败。 无限制 10次/秒 50次/秒 100次/秒 200次/秒 单击“保存”,在模型调测区域调测模型。 调测文本对话类型模型,请参考表3配置参数。 表3 文本对话类型模型调测参数说明 参数名称 参数说明 输出方式 可选非流式、流式。二者区别如下: 非流式:调用大语言模型
状态,实例不再接受流量。 实例调整为拨测状态 可以将一个微服务调整为拨测状态。拨测实例将会让微服务实例不再接收流量,请确认后操作。 在微服务实例列表中,单击微服务实例列表操作列的“拨测”。 在弹出的提示框中单击“确定”,将微服务实例调整为拨测状态。 父主题: 查看和管理注册到CloudMap的微服务实例
状态,实例不再接受流量。 实例调整为拨测状态 可以将一个微服务调整为拨测状态。拨测实例将会让微服务实例不再接收流量,请确认后操作。 在微服务实例列表中,单击微服务实例列表操作列的“拨测”。 在弹出的提示框中单击“确定”,将微服务实例调整为拨测状态。 父主题: 查看和管理注册到CloudMap的微服务实例
在“我部署的”页签的服务列表中,单击“操作”列“更多 > 删除”。 单击“确认”。 模型调测 只有部署完成且“运行中”状态的模型服务才能进行模型调测。 在“我部署的”页签服务列表中,单击“操作”列“模型调测”。 参照调测模型的步骤,完成模型测试。 启用模型服务 在“我部署的”页签服务列表中,单击“操作”列“启用”。
将鼠标光标移至提示语模板卡片上,单击“测试”,进入模型调测页面。 在调测文本对话类型模型时,将提示语模板内容作为输入问题,按Enter键或单击预览效果。 收藏提示语 将自己关注的提示语收藏后,可便捷地在收藏列表中查看提示语详情,并且在模型调测引用提示语模板时,可以在“我收藏的”页签下快速选择使用。