检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型使用指引 操作指引 图1 模型使用操作指引 表1 模型使用流程详解 序号 流程环节 说明 1 基于微调数据集进行模型微调 创建微调数据集 收藏预置微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景,往往需要对大语言模型进行模型微调以适应特定任务。微调数据
大模型微调需要的数据有要求吗? AI原生应用引擎用于大模型微调的数据集任务领域为“自然语言处理”、数据集格式为“对话文本”。 文件内容要求为标准json数组,例如: [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":
XXXX@XXXX has closed 原因:Rainbow已经调用了close方法,导致无数据源。检查nuwa.out是不是有其他失败异常。 定位:检查日志中是否打印了“close rainbow instance”关闭了Rainbow。初始化失败时也会调用close方法。 异常10:启动时报Could
管理工作流 工作流基础节点说明 创建工作流 管理工作流
管理平台租户鉴权信息 新增AK/SK访问密钥 新增平台API Key
已购买推理单元资源,具体购买方法请参见购买AI原生应用引擎包年包月资源。 由于在线运行需消耗资源,请确保账户有可用资源,且用户费用状态正常。 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 部署模型服务 在AI原生应用引擎的左侧导航栏选择“Agent编排中心
集。 前提条件 通过OBS(对象存储服务)接入数据时,操作账号需获得OBS只读权限,具体操作请参见对其他账号授予桶的读写权限。 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 创建微调数据集 在AI原生应用引擎的左侧导航栏选择“知识中心
支持将资产中心其他租户上架的工具进行收藏,收藏后方可在创建Agent时调用。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 收藏其他租户上架的工具 在AI原生应用引擎的左侧导航栏选择“资产中心”。 在资产中心页面,选择“工具”页签。
创建工作流后,可以对工作流进行编辑、测试或删除的管理操作。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 已创建工作流。 查看工作流详情 在AI原生应用引擎“Agent编排中心 > 我的工作流”页面的流列表中,单击流名称
模型调测,并支持在创建Agent时使用或通过模型调用接口调用。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 创建接入模型服务 在AI原生应用引擎的左侧导航栏选择“Agent编排中心 > 我的模型服务”。 选择“我接入的”页签,单击“接入模型服务”。
实例化参数 参数名 参数类型 是否必选 参数描述 base_url str False 模型网关开放的ip和端口,有默认值可以不填。功能类似OpenAI的base_url。 custom_hearders dict False 其他自定义请求头信息。 http_client httpx.client
使用的模型收藏后,可便捷地在收藏列表中进行部署、微调、体验。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 收藏平台资产中心的模型 在AI原生应用引擎的左侧导航栏选择“资产中心”。 在资产中心页面,选择“大模型”页签。
NotFound 实例不存在 NuwaRuntime.Microservice.CreateError 实例创建失败 NuwaRuntime.Microservice.ReadError 实例读取失败 NuwaRuntime.Microservice.DeleteError 实例删除错误 NuwaRuntime
实例化参数 参数名 参数类型 是否必选 参数描述 base_url str False 模型网关开放的ip和端口,有默认值可以不填。功能类似OpenAI的base_url。 custom_hearders dict False 其他自定义请求头信息。 http_client httpx.client
工具创建完成后,可以将工具上架至资产中心,其他租户收藏工具后,可便捷地进行使用。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 上架工具 在AI原生应用引擎的左侧导航栏选择“Agent编排中心 > 我的工具”。 在我的工具列表中,选择操作列的“更多
实例化参数 参数名 参数类型 是否必选 参数描述 base_url str False 模型网关开放的IP和端口,有默认值可以不填。功能类似OpenAI的base_url。 custom_hearders dict False 其他自定义请求头信息。 http_client httpx.client
填写,包括状态(成功/失败)消息。 当流运行到该步骤时,流程运行终止(如果有后续步骤不会再继续执行)。 图8 终止 输入参数 用户配置终止执行动作,相关参数说明如表9所示。 表9 终止输入参数说明 参数 是否必填项 说明 状态 是 选择运行状态,成功或者失败。 消息 否 运行到该步骤时,发送信息。
基于微调数据集进行模型微调 创建微调数据集 对微调数据集进行数据标注 收藏预置微调数据集 创建模型微调任务 父主题: 管理模型
如果三方工具在创建时设置了鉴权信息,其他租户在调用前还需要配置认证鉴权。 前提条件 需要具备AI原生应用引擎管理员或开发者权限,权限申请操作请参见AppStage组织成员申请权限。 调用资产中心工具前配置认证鉴权 在AI原生应用引擎的左侧导航栏选择“资产中心”。 在资产中心页面,选择“工具”页签。
properties: AIOPSCONFIG_AIOPSSERVER: format: notype AIOPSCONFIG_AIOPSTOKENURI: format: sensitive records: AIOPSCONFIG_AIOPSSERVER: