检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
背景信息 对于华为或者第三方运营的商业化模型服务,支持通过API接入到AI原生应用引擎。模型运营方负责模型能力及技术支持,租户自行在模型运营方订购服务,或者通过云市场订购模型服务后,在AI原生应用引擎创建平台API Key,即可通过AI原生应用引擎平台调用模型接口。
使用Rainbow SDK(Spring Cloud框架) 引入Rainbow SDK Rainbow SDK依赖Cloud Map的注册和发现能力,在引入Rainbow SDK之前,要先引入STS SDK和Cloud Map SDK,并完成STS和Cloud Map的初始化,具体请参见使用
父主题: Rainbow SDK
fail to operator sudo, message: send request fail, status code: 400, task: control sudo permission, status: failed 问题现象 SLB部署失败,日志详细信息提示如下: fail
查看账户信息 登录AI原生应用引擎,将鼠标移至右上角登录的用户名,弹出“账户信息”页面,可查看当前登录用户的账户信息:账号名、岗位。 修改成员账号密码(通过OrgID创建的成员账号) 适用于通过添加成员加入组织的成员账号修改密码。为保障账号安全,建议定期更新密码。
管理模型 模型使用指引 基于微调数据集进行模型微调 生成模型服务 调测/体验模型 查看模型调用记录 收藏预置微调数据集 收藏平台资产中心的模型 如何对模型供应商提供的模型服务设置鉴权
/log/rainbow/rainbow.log.
需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 创建微调数据集 在AI原生应用引擎的左侧导航栏选择“知识中心 > 微调数据集”。 在“微调数据集”页面,单击右上角“创建微调数据集”。
管理Agent Agent编排使用指引 创建并发布Agent 体验Agent 使用Agent 收藏资产中心预置的AI应用
管理提示语 创建提示语 对创建的提示语进行优化 管理资产中心预置提示语
收藏平台资产中心的模型 支持收藏平台资产中心预置的模型和服务商提供的模型。将自己关注的或后续计划使用的模型收藏后,可便捷地在收藏列表中进行部署、微调、体验。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。
管理工具 创建工具 将创建的工具上架到资产中心 收藏上架的工具 调用资产中心工具前设置认证鉴权
单击“引用已有提示语模板”,弹出“选择模板”面板,可通过分类筛选我创建的、我收藏的或平台预置的提示语模板,然后按Enter键或单击进行模型测试。 输入相同的问题,可以看到微调前模型返回结果是错误的,而微调后模型返回了正确的计算指标数据的关键要素。
租户创建Agent在调用平台接口时需要进行平台鉴权认证,可以使用“AK/SK访问密钥”进行平台的鉴权认证。 前提条件 需要具备AI原生应用引擎管理员权限,权限申请操作请参见AppStage组织成员申请权限。 操作须知 如果访问密钥泄露,会带来数据泄露风险。
构建知识库 创建知识数据集 创建知识库 创建知识检索流
体验Agent Agent体验是指以对话的形式,对我创建的Agent或平台资产中心预置的AI应用进行体验调测,以发现并解决Agent接口上的问题和错误。 体验我创建的Agent 在AI原生应用引擎的左侧导航栏选择“Agent编排中心 > 我的Agent”。
生成模型服务 将已有模型部署为模型服务 接入模型服务 创建路由策略用于提供模型服务 父主题: 管理模型
创建并发布Agent Agent指具备自主智能的AI实体应用,具有一定的智能和自主性,可以自主地发现问题、设定目标、构思策略、执行任务等。 平台在资产中心预置了部分AI应用,同时也支持用户创建Agent,当前支持创建LLM模式和工作流模式两种类型的Agent。
模型使用指引 操作指引 图1 模型使用操作指引 表1 模型使用流程详解 序号 流程环节 说明 1 基于微调数据集进行模型微调 创建微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据集是模型微调的基础,通过在微调数据集上进行训练从而获得改进后的新模型
支持WiseAgent平台的API Key鉴权。