检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
只有部署完成的,状态为“运行中”的模型服务才能进行模型调测。 在“我部署的”模型服务列表中,单击操作列的“模型调测”。 参照调测模型的步骤,完成模型测试。 父主题: 生成模型服务
非流式:调用大语言模型推理服务时,根据用户问题,获取大语言模型的回答,大语言模型完整生成回答后一次性返回。 流式:调用大语言模型推理服务时,根据用户问题,获取大语言模型的回答,逐个字词的快速返回模式,不需等待大语言模型生成完成。 输出最大token数 表示模型输出的最大长度。 温度 较高的数值
创建完成后,会根据所选实例及指标生成对应的模板数据,显示在模板列表中。同时采集的指标数据会保存在自动生成的Kafka Topic中。 如果生成的模板数量与勾选的指标数量不一致,请确认所选指标是否已购买对应云服务实例并完成相应配置,具体请参见对应的云服务。 一键生成指标。 单击“一键生成”,如图2所示。
进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“证书管理”。 在证书列表页面,检查自己的后端证书是否正确。 父主题: SLB同步异常相关问题
testCertificateName #非必传,证书,需为领域下已录入证书 listeners: #必传 - protocol: https
件。 另外,请确认部署过程中证书申请的步骤在业务安装和启动流程之前,如果业务先启动,之后才进行证书的申请,配置文件还未生成,也会出现找不到配置文件的问题。 若不存在,则要参考STS 2.0业务接入指南申请证书。如果配置的文件路径不是stsagent生成的默认路径,则需要手工将**
List,简称ACL)中,开通后,调用方就可以使用STS下发的认证凭据,用于消息的签名和加密。 仅在需要使用ACMS认证的情况下才配置ACL,如果业务使用ACMS签发的证书进行HTTPS双向认证,或者仅使用了敏感配置项管理的功能,则不需要配置ACL。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。
List,简称ACL)中,开通后,调用方就可以使用STS下发的认证凭据,用于消息的签名和加密。 仅在需要使用ACMS认证的情况下才配置ACL,如果业务使用ACMS签发的证书进行HTTPS双向认证,或者仅使用了敏感配置项管理的功能,则不需要配置ACL。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。
在SLB中创建和管理监听 (可选)录入HTTPS监听所需的服务器证书 在SLB中创建监听 将监听配置同步到SLB节点 在SLB中配置监听共享 父主题: 配置运行时引擎负载均衡
创建和管理监听 (可选)录入HTTPS监听所需的服务器证书 在SLB中创建监听 将监听配置同步到SLB节点 在SLB中配置监听共享 父主题: 配置运维中心负载均衡
"SUCCESS", "request" : { "query" : "肠息肉怎么办" }, "response" : "结直肠息肉应该怎么办?\n结直肠息肉是什么\n结肠息肉需不需要切除" } } Agent使用大模型进行响应。 {
运维中心主机管理服务 纳管虚拟机选错服务怎么办? 绑定root通道失败怎么办? 通道异常及其处理 手动安装OpsAgent失败怎么办? 左侧菜单栏不显示“堡垒机”怎么办?
表5 AI原生应用引擎SDK功能矩阵 接口类型 接口名 函数名 Python 大模型相关接口 文本生成 ModelRouter.chat.completion.create √ 向量生成 ModelRouter.embeddings.create √ 文生图 ModelRouter
配置SLB的监听端口。 协议类型 http、https、http2、http2(ssl)。 端口类型 ipv4、ipv6。 其他配置 填写其他配置。 证书 证书 端口协议类型为https或者http2(ssl)时,在证书选择下拉框中配置证书。 通用配置 最大请求体限制 对应配置文件
创建知识数据集 功能介绍 该接口用于创建知识数据集,可将原始文档按照一定规则进行处理,用于后续生成知识库。 调用方法 请参见如何调用API。 URI POST https://aiae.appstage.myhuaweicloud.com/v1/knowledge-datasets
配置SLB的监听端口。 协议类型 http、https、http2、http2(ssl)。 端口类型 ipv4、ipv6。 其他配置 填写其他配置。 证书 证书 端口协议类型为https或者http2(ssl)时,在证书选择下拉框中配置证书。 通用配置 最大请求体限制 对应配置文件
│ │ application.properties.tmpl ----STS域名及微服务STS证书路径 │ │ application.yml.tmpl ----服务器上环境变量配置信息
维中心访问凭据管理服务(ACMS)提供的REST API进行的封装,以简化用户的开发工作。 STS SDK封装了业务微服务读取ACMS身份证书、到ACMS-Server上获取密钥、认证凭据、解密敏感数据、微服务间通信认证加密等功能,用户直接调用STS SDK提供的接口函数即可实现使用ACMS业务能力的目的。
如何获取Agent发布时要所需的API Key? 填写AI原生应用引擎平台的API Key,生成方式请参见新增平台API Key。 父主题: AI原生应用引擎
为了让微服务可以安全地获取到STS认证凭据,STS给每个接入的微服务颁发了一张身份证书,该证书中包含了微服务的名称等信息。该证书在微服务部署时,安装到微服务所在的虚拟机或容器里。微服务使用该证书,就可以到STS-Server上获取认证凭据。 两个微服务之间通信时,被调用方(Pr