检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤二:通过IaC发布敏感配置 业务使用Runtime部署并按照IaC规范配置敏感配置项之后,在部署时Runtime会从STS管理台拉取加密配置项,注入到容器的环境变量中,并通过配置渲染工具将敏感配置渲染到业务的配置文件中。 在IaC脚本中的业务配置项配置文件中指定敏感配置项坐标。 此处以在config_records
模型调用统计页面展示当前租户所在的根部门以及租户下二级子部门的模型调用情况。 前提条件 需要具备AI原生应用引擎租户运营管理员权限,权限申请操作请参见AppStage组织成员申请权限。 查看模型调用统计 在AI原生应用引擎的左侧导航栏选择“运营看板 > 模型调用统计”。 在模型调用统计页面,默认展示当前租
Request base url is https://xxxxx, path is /v1/chat/completions 父主题: AI原生应用引擎SDK API
ModelRouter PromptTemplate KnowledgeRetriever ApplicationCenter 父主题: AI原生应用引擎SDK API
提供用户与模型进行对话的能力,用户将文本内容写入到content中,选择填写合适的文本对话模型,与模型进行交互。其中环境变量WISEAGENT_API_KEY填写AI原生应用引擎的平台API KEY,该值用于鉴权,为必填。返回结果存在response中,接口返回为OpenAI的标准返回格式,可以自行解析使用。如果接口报错请参考错误处理。
Agent调用统计页面展示当前租户所在的根部门以及租户下二级子部门的Agent调用情况。 前提条件 需要具备AI原生应用引擎租户运营管理员权限,权限申请操作请参见AppStage组织成员申请权限。 查看模型调用统计 在AI原生应用引擎的左侧导航栏选择“运营看板 > Agent调用统计”。 在Agent调用统计页面,默
快速开始 下载AI原生应用引擎SDK AI原生应用引擎SDK获取地址:wiseagent-dev-sdk-python。您也可以参考下载SDK获取AI原生应用引擎SDK并进行完整性校验。 AI原生应用引擎SDK获取方法请参考。 安装AI原生应用引擎SDK 若已经安装过最新版本SDK,可以忽略此步骤。
AI原生应用引擎支持所有数据集进行数据标注吗? 进行标注的数据集必须同时满足用途为“模型训练”、任务领域为“自然语言处理”、任务子领域为“文本生成”、数据集格式为“对话文本”四个条件。 父主题: AI原生应用引擎
使用部署包创建模板,根据模板创建虚拟机部署的变更任务,实现使用部署脚本完成软件的自动化部署。 部署包 镜像包 用户容器部署时使用的Docker的容器镜像包。 使用开发中心推包 在IaC代码中定义需要使用的镜像包,通过IaC变更完成容器化部署。 镜像包 SQL包 执行SQL变更的DDL、DML数据库脚本。 使用开发中心推包/上传SQL包
SDK概述 AI原生应用引擎SDK面向开发者提供了一套搭建原生应用的Python SDK,包含了模型调用,知识获取,工具调用等功能。开发者可以使用SDK调用AI原生应用引擎的各种能力,帮助开发者快速构建大模型应用。 表1 模块说明 序号 模块 功能 1 HttpxClient 负责发送HTTP请求的基类。
版本变更记录 表1 版本变更记录 版本 变更类型 说明 0.0.1 - 第一次发布。 父主题: AI原生应用引擎SDK API
错误处理 在使用AI原生应用引擎SDK时,当服务端或者SDK端出错时,SDK会返回相应的异常信息,请参见下表进行处理。 状态码 错误码 错误信息 描述 处理措施 200 AIAE.22001001 API调用异常 API调用异常 调用接口url、请求方式错误或出现访问其他用户资源的越权问题,请检查后重试
在实际应用中的效果。 本文以AI原生应用引擎预置的baichuan-13B为基座模型,通过微调提升模型的数据分析和指标计算能力,帮助您快速掌握使用AI原生应用引擎完成模型调优并测试效果。 使用流程 通过图1您可以了解如何在AI原生应用引擎创建数据集、创建微调任务、部署推理模型以及在线测试模型效果。
AI原生应用引擎计费项 计费说明 AI原生应用引擎根据购买的套餐包计费或按需计费。具体内容如表1所示。 表1 AI原生应用引擎计费项说明 计费项 计费项说明 适用的计费模式 计费公式 ChatGLM3-6B大模型服务API在线调用 根据实际输入和输出tokens总量计费,平台提供算力支持。
"my-rerank-model", "query": "请问AI原生应用引擎提供了什么能力?", "docs": ["AI原生应用引擎提供了应用开发、模型网关等能力。", "AI原生应用引擎正在逐步完善、提高竞争力。"], "top_n": 3 } 响应体参数
在SLB中创建和管理监听 (可选)录入HTTPS监听所需的服务器证书 在SLB中创建监听 将监听配置同步到SLB节点 在SLB中配置监听共享 父主题: 配置运行时引擎负载均衡
ModelRouter ModelRouter提供了AI原生应用引擎模型网关的接口,可以访问AI原生应用引擎上的模型,接口调用类似OpenAI。 导入ModelRouter from wiseagent_dev_sdk_python.modules.models import ModelRouter
可以使用“平台API Key”进行平台的鉴权认证。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 创建API Key 在AI原生应用引擎的左侧导航栏选择“凭证管理 > 我的凭证”。 在“我的凭证”页面,选择“平台API
在SLB中创建和管理灰度服务 在SLB中创建灰度服务 在SLB中初始配置灰度服务 在SLB中管理灰度状态 在SLB中创建Action任务 父主题: 配置运行时引擎负载均衡
在SLB中创建和管理资源 在SLB中创建资源 在SLB中创建资源组 父主题: 配置运行时引擎负载均衡