检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图3 模型评估报告 表1 评估结果参数说明 参数 说明 recall:召回率 被用户标注为某个分类的所有样本中,模型正确预测为该分类的样本比率,反映模型对正样本的识别能力。 precision:精确率 被模型预测为某个分类的所有样本中,模型正确预测的样本比率,反映模型对负样本的区分能力。
1:8080/${推理服务的请求路径} 推理部署示例 本节将详细说明以自定义引擎方式创建模型的步骤。 创建模型并查看模型详情 登录ModelArts管理控制台,进入“模型管理”页面中,单击“创建模型”,进入模型创建页面,设置相关参数如下: 元模型来源:选择“从对象存储服务(OBS)中选择”。 选择元模型:从OBS中选择一个模型包。
部署图像分类服务 模型部署 模型部署操作即将模型部署为在线服务,并且提供在线的测试UI与监控能力。完成模型训练后,可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“运行节点”页面中,待服务部署节点的状态变为“等待输入”时,双击“服务部署”进入配置详情页,完成资源的参数配置操作。
模型训练 企业A在完成特征选择后,可以单击右下角的“启动训练”按钮,配置训练的超参数并开始训练。 等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数,直至训练出满意的模型。 父主题: 使用TICS可信联邦学习进行联邦建模
访问在线服务支持的传输协议 使用WebSocket协议的方式访问在线服务 使用Server-Sent Events协议的方式访问在线服务 父主题: 将模型部署为实时推理作业
访问在线服务支持的访问通道 通过公网访问通道的方式访问在线服务 通过VPC访问通道的方式访问在线服务 通过VPC高速访问通道的方式访问在线服务 父主题: 将模型部署为实时推理作业
模型管理 管理模型采集任务 同步数据库和缓存数据 父主题: 应用业务模型使用指导
无监督领域知识数据量无法支持增量预训练,如何进行模型学习 一般来说,建议采用增量预训练的方式让模型学习领域知识,但预训练对数据量的要求较大,如果您的无监督文档量级过小,达不到预训练要求,您可以通过一些手段将其转换为有监督数据,再将转换后的领域知识与目标任务数据混合,使用微调的方式让模型学习。 这里提供了一些将
创建模型失败,如何定位和处理问题? 问题定位和处理 创建模型失败有两种场景:创建模型时直接报错或者是调用API报错和创建模型任务下发成功,但最终模型创建失败。 创建模型时直接报错或者是调用API报错。一般都是输入参数不合法导致的。您可以根据提示信息进行排查修改即可。 创建模型任务
通过自定义镜像创建模型失败 问题现象 通过用户自定义镜像创建模型失败。 原因分析 可能原因如下: 导入模型使用的镜像地址不合法或实际镜像不存在 用户给ModelArts的委托中没有SWR相关操作权限 用户为子账号,没有主账号SWR的权限 使用的是非自己账号的镜像 使用的镜像为公开镜像
导入模型提示该账号受限或者没有操作权限 问题现象 在导入AI应用时,提示用户账号受限。 原因分析 提示用户账号受限,常见原因有如下几种: 导入模型账号欠费导致被冻结; 导入模型账号没有对应工作空间的权限; 导入模型账号为子账号,主账号没有给子账号赋予模型相关权限。 权限说明请参见:策略及授权项说明;
自定义镜像导入模型部署上线调用API报错 部署上线调用API报错,排查项如下: 确认配置文件模型的接口定义中有没有POST方法。 确认配置文件里url是否有定义路径。例如:“/predictions/poetry”(默认为“/”)。 确认API调用中body体中的调用路径是否拼接
迁移学习 如果当前数据集的特征数据不够理想,而此数据集的数据类别和一份理想的数据集部分重合或者相差不大的时候,可以使用特征迁移功能,将理想数据集的特征数据迁移到当前数据集中。 进行特征迁移前,请先完成如下操作: 将源数据集和目标数据集导入系统,详细操作请参见数据集。 创建迁移数据
被用户标注为某个分类的所有样本中,模型正确预测为该分类的样本比率,反映模型对正样本的识别能力。 precision 精确率 被模型预测为某个分类的所有样本中,模型正确预测的样本比率,反映模型对负样本的区分能力。 accuracy 准确率 所有样本中,模型正确预测的样本比率,反映模型对样本整体的识别能力。
修订记录 表1 修订记录 发布日期 修订记录 2024-10-30 第一次正式发布。
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题: 主流开源大模型基于Server适配PyTorch NPU推理指导(6.3.909)
如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。 驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
创建模型规范参考 模型包结构介绍 模型配置文件编写说明 模型推理代码编写说明 自定义引擎创建模型规范 自定义脚本代码示例 父主题: 使用ModelArts Standard部署模型并推理预测
如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。 驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
实施步骤 准备工作 快速部署 开始使用 快速卸载