检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用AI原生应用引擎完成模型调优 模型调优是一种通过对模型进行微调来适应特定任务或数据集的技术,适用于需要个性化定制或在特定任务上追求更高性能表现的场景。在模型调优过程中,用户需要构建一个符合业务场景任务的训练集,这个训练集通常由业务数据和业务逻辑构成。然后,用户需要调整模型的参数
日志处理 logger名称和描述 Rainbow SDK需要配置的logger名称和描述如表1所示。 表1 logger说明 Logger名称 建议日志级别 说明 com.huawei.rainbow com.huawei.wisecloud.jetcd INFO Rainbow
管理模型 模型使用指引 基于微调数据集进行模型微调 生成模型服务 调测/体验模型 查看模型调用记录 收藏平台资产中心的模型 模型API接入接口规范 如何对模型供应商提供的模型服务设置鉴权
PSQLException: ERROR: syntax error at or near 问题现象 judge历史的原始详情中出现PSQLException: ERROR: syntax error at or near报错。 可能原因 在judge日志的ad-agent日志中查看到报错
管理Agent Agent编排使用指引 创建并发布Agent 体验Agent 使用Agent 收藏资产中心预置的AI应用
管理账号信息 在账号信息页面,用户可以便捷地查看当前登录账号的账户信息(账号名、岗位),以及修改账号密码。为保障账号安全,建议定期更新密码。 查看账户信息 登录AI原生应用引擎,将鼠标移至右上角登录的用户名,弹出“账户信息”页面,可查看当前登录用户的账户信息:账号名、岗位。 修改成员账号密码
管理提示语 创建提示语 对创建的提示语进行优化 管理资产中心预置提示语
体验Agent Agent体验是指以对话的形式,对我创建的Agent或平台资产中心预置的AI应用进行体验调测,以发现并解决Agent接口上的问题和错误。 体验Agent 在AI原生应用引擎的左侧导航栏选择“Agent编排中心 > 我的Agent”。 选择“我创建的”页签,单击Agent
使用Agent 支持通过API接口调用或Web界面访问两种方式使用Agent。 前提条件 需要获取Agent的发布地址。 使用Agent Web UrI 直接打开Web链接访问应用。 如果创建Agent时,使用配置变量的方式实现了记忆能力,体验时输入变量值,作为Agent记忆信息存储
管理工具 创建工具 将创建的工具上架到资产中心 收藏上架的工具 调用资产中心工具前设置认证鉴权
构建知识库 创建知识数据集 创建知识库 创建知识检索流
调测/体验模型 通过调测模型,可检验模型的准确性、可靠性及反应效果,发现模型中存在的问题和局限性,确保模型能够在实际应用中正常运行,并且能够准确地预测和处理数据。 支持对我的模型(我部署的、我接入的)、我的路由策略、平台资产中心预置的部分模型以及模型服务商提供的模型进行调测。 前提条件
创建提示语 平台在资产中心预置了提示语模板,同时也支持用户根据需求自定义创建提示语。在模型调测时引用创建的提示语模板,可以快速推进引导对话的发展,或者增加故事的复杂性和深度。大模型会基于提示语所提供的信息,生成对应的文本或者图片。 前提条件 需要具备AI原生应用引擎管理员或开发者权限
modules模块 HttpxClient ModelRouter PromptTemplate KnowledgeRetriever ApplicationCenter 父主题: AI原生应用引擎SDK API
job 28e7241e42904334b failed 问题现象 SLB部署失败,日志详细信息提示如下: 2024-01-27 03:24:00 job 28e7241e42904334b start running.2024-01-27 03:24:05 job 28e7241e42904334b
生成模型服务 将已有模型部署为模型服务 接入模型服务 创建路由策略用于提供模型服务 父主题: 管理模型
模型使用指引 操作指引 图1 模型使用操作指引 表1 模型使用流程详解 序号 流程环节 说明 1 基于微调数据集进行模型微调 创建微调数据集 收藏预置微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据集是模型微调的基础
开源模型怎么部署? 开源模型的部署需要购买推理单元,具体操作如下: 在AI原生应用引擎的左侧导航栏选择“资产中心”,选择“大模型”页签。 将鼠标光标移至待部署的开源模型卡片上,单击“部署”。 在“创建部署服务”页面,可以查看到需要几个推理单元,单击“购买推理单元资源”。 图1 创建部署服务
创建工具 工具是一组相关的API集合,在开发过程中,工具可在用户创建Agent时调用,有效提高Agent开发的效率。 平台在资产中心预置了部分工具,同时也支持用户根据需求自定义创建工具。本文介绍如何创建工具。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见
平台有没有预置模型? 平台预置了开源模型chatglm3-6b,并提供对应的模型服务API,但是该模型能力有限,只能作为问答模型,不能作为思考模型。首次使用该模型服务API需要订购免费的“ChatGLM3-6B大模型服务API在线调用”资源,订购后即可进行体验,订购操作请参见购买AppStage