检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其他操作 对部署资源的配置漂移进行修复 导出IaC3.0包 为环境导入存量资源 变更组件 释放环境 使用TF模板包批量创建资源 父主题: 容器部署
虚拟机部署 虚拟机部署流程 上传Terraform包和软件包 使用虚拟机部署应用 其他操作 父主题: 部署应用
开源模型怎么部署? 开源模型的部署需要购买推理单元,具体操作如下: 在AI原生应用引擎的左侧导航栏选择“资产中心”,选择“大模型”页签。 将鼠标光标移至待部署的开源模型卡片上,单击“部署”。 在“创建部署服务”页面,可以查看到需要几个推理单元,单击“购买推理单元资源”。 图1 创建部署服务
管理账号信息 在账号信息页面,用户可以便捷地查看当前登录账号的账户信息(账号名、岗位),以及修改账号密码。为保障账号安全,建议定期更新密码。 查看账户信息 登录AI原生应用引擎,将鼠标移至右上角登录的用户名,弹出“账户信息”页面,可查看当前登录用户的账户信息:账号名、岗位。 修改
构建知识库 创建知识数据集 创建知识库 创建知识检索流
调用知识检索流 功能介绍 该接口用于调用用户配置的知识检索流。 调用方法 请参见如何调用API。 URI POST https://aiae.appstage.myhuaweicloud.com/v1/workflow-adapter-open/rag-flows/{flow_id}
更新知识库 操作场景 本文通过调用一系列知识中心的API介绍知识库的更新流程,适用于当数据源为OBS接入时,在OBS上进行文件增删改后,将改动同步到知识库的场景。API调用方法请参见如何调用API。 前提条件 用户接入的OBS目录下,存在文件的增删改其中一种情况。 需获取待更新数据集的id,支持通过如下两种方式获取:
管理我的凭证 创建AK/SK访问密钥 创建API Key
管理工具 创建工具 导入工具 将创建的工具上架到资产中心 收藏上架的工具 调用资产中心工具前设置认证鉴权
基于Spring Cloud框架进行应用上云 方案概述 准备工作 工程创建 代码开发 打包发布 部署上线
调测/体验模型 通过调测模型,可检验模型的准确性、可靠性及反应效果,发现模型中存在的问题和局限性,确保模型能够在实际应用中正常运行,并且能够准确地预测和处理数据。 支持对我的模型(我部署的、我接入的)、我的路由策略、平台预置的模型以及平台接入的第三方模型进行调测。 前提条件 调测
创建提示语 平台在资产中心预置了提示语模板,同时也支持用户根据需求自定义创建提示语。在模型调测时引用创建的提示语模板,可以快速推进引导对话的发展,或者增加故事的复杂性和深度。大模型会基于提示语所提供的信息,生成对应的文本或者图片。 前提条件 需要具备AI原生应用引擎管理员或开发者
SDK概述 AI原生应用引擎SDK面向开发者提供了一套搭建原生应用的Python SDK,包含了模型调用,知识获取,工具调用等功能。开发者可以使用SDK调用AI原生应用引擎的各种能力,帮助开发者快速构建大模型应用。 表1 模块说明 序号 模块 功能 1 HttpxClient 负责发送HTTP请求的基类。
平台有没有预置模型? 平台预置的开源模型chatglm3-6b 平台预置开源模型chatglm3-6b,并提供对应的模型服务API,但是该模型能力有限,只能作为问答模型,不能作为思考模型。首次使用该模型服务API需要订购免费的“ChatGLM3-6B大模型服务API在线调用”资源
上传文件至文件盒子 功能介绍 在Agent的文件盒子中上传文件。在完成文件上传后,可以在调用Agent时引用上传的文件进行对话。只支持上传pdf、txt、docx等纯文本文件,且文件大小不超过10MB。 调用方法 请参见如何调用API。 URI POST https://aiae
模型使用指引 操作指引 图1 模型使用操作指引 表1 模型使用流程详解 序号 流程环节 说明 1 基于微调数据集进行模型微调 创建微调数据集 收藏预置微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据
日志处理 日志级别配置 日志级别通过环境变量WISEAGENT_LOG配置: import os os.environ["WISEAGENT_LOG"] = "INFO" # 配置日志级别为INFO 日志级别默认为WARNING,支持配置为DEBUG、INFO。 日志格式 日志格式:
快速开始 下载AI原生应用引擎SDK AI原生应用引擎SDK获取地址:wiseagent-dev-sdk-python。您也可以参考下载SDK获取AI原生应用引擎SDK并进行完整性校验。 AI原生应用引擎SDK获取方法请参考。 安装AI原生应用引擎SDK 若已经安装过最新版本SDK,可以忽略此步骤。
生成模型服务 将已有模型部署为模型服务 接入模型服务 创建路由策略用于提供模型服务 父主题: 管理模型
工程创建 创建应用基础信息 添加开发中心用户 创建团队 配置服务扩展信息 添加团队成员 创建版本 父主题: 基于Spring Cloud框架进行应用上云