检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调整模型后,部署新版本AI应用能否保持原API接口不变? ModelArts提供多版本支持和灵活的流量策略,您可以通过使用灰度发布,实现模型版本的平滑过渡升级。修改服务部署新版本模型或者切换模型版本时,原服务预测API不会变化。 调整模型版本的操作可以参考如下的步骤。 前提条件 已存在部署完成的服务。
为Huggingface格式。开源权重文件获取地址请参见支持的模型列表和权重文件。 如果使用模型训练后的权重文件进行推理,模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 Step2 配置pod 在节点自定义目录${node_path}下创建config
为Huggingface格式。开源权重文件获取地址请参见支持的模型列表和权重文件。 如果使用模型训练后的权重文件进行推理,模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 Step2 配置pod 在节点自定义目录${node_path}下创建config
自定义镜像导入模型部署上线调用API报错 部署上线调用API报错,排查项如下: 确认配置文件模型的接口定义中有没有POST方法。 确认配置文件里url是否有定义路径。例如:“/predictions/poetry”(默认为“/”)。 确认API调用中body体中的调用路径是否拼接
如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。 驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
资源和成本规划 该解决方案主要部署如下资源,以下费用仅供参考,具体请参考华为云官网价格详情,实际收费以账单为准。 表1 成本预估 华为云服务 配置示例 每月预估花费 弹性云服务器 ECS 区域:西南-贵阳一 按需计费:0.31元/小时 规格:鲲鹏通用计算增强型 kc1 | 2核 |
修订记录 表1 修订记录 发布日期 修订记录 2024-10-30 第一次正式发布。
进行模型训练,生成模型包。此联邦学习模型包可以导入至联邦学习部署服务,作为联邦学习实例的基础模型包。 新建训练服务:调用已归档的模型包,对新的数据集进行训练,得到训练结果。 新建超参优化服务:通过训练结果对比,为已创建的训练工程选择一组最优超参组合。 系统还支持打包训练模型,用于
迁移学习 如果当前数据集的特征数据不够理想,而此数据集的数据类别和一份理想的数据集部分重合或者相差不大的时候,可以使用特征迁移功能,将理想数据集的特征数据迁移到当前数据集中。 进行特征迁移前,请先完成如下操作: 将源数据集和目标数据集导入系统,详细操作请参见数据集。 创建迁移数据
被用户标注为某个分类的所有样本中,模型正确预测为该分类的样本比率,反映模型对正样本的识别能力。 precision 精确率 被模型预测为某个分类的所有样本中,模型正确预测的样本比率,反映模型对负样本的区分能力。 accuracy 准确率 所有样本中,模型正确预测的样本比率,反映模型对样本整体的识别能力。
使用盘古预置NLP大模型进行文本对话 场景描述 此示例演示了如何使用盘古能力调测功能与盘古NLP大模型进行对话问答。您将学习如何通过调试模型超参数,实现智能化对话问答功能。 准备工作 请确保您有预置的NLP大模型,并已完成模型的部署操作,详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型
者组成属性数据唯一键,两条唯一键相同的属性数据以覆盖方式存储;一个模型中只能配置三个属性为标签,标签配置后标签不能删除,配置标签的属性也不能删除;只有integer、double、string类型的属性可以被配置为标签。示例: 资产ID asset1上依次上报如下六组数据: 资产ID
当您使用“一键部署(镜像制作)”模板进行部署时,请按照提供的说明获取登录指令。 访问容器镜像服务控制台,单击“登录指令按钮”按下图所示获取临时登录指令。 图17 获取临时登录指令 ModelArts创建及部署(部署模型) 当您使用“一键部署(部署模型)”模板进行部署时,请按以下步骤上传权重文件。
模型评估 训练时的评估指标是用训练的数据集中随机采样的记录计算的,完成训练后企业A也可以使用其他的数据集对同一个模型进行多次的评估。单击“发起评估”选择训练参与方不同的数据集即可发起模型评估。 至此使用可信联邦学习进行联邦建模的过程已经完成,企业A已经训练出了一个符合自己要求的算
Helm3部署 Helm是一个Kubernetes的包管理工具,就像Linux下的包管理器,如yum/apt等,可以很方便的将之前打包好的yaml文件部署到kubernetes上,而Helm3是Helm的一个常用且稳定的版本。 部署服务提供了使用Helm部署、升级kubernetes集群的功能。
模型上传与加载 将您自定义的模型上传到对应的路径下,如CheckPoint模型、VAE模型和Lora模型。 图1 CheckPoint模型 图2 VAE模型 图3 Lora模型 上传完成后回到Stable-Diffusion WebUI界面重新加载模型后即可看到新增模型,加载需要较长时间请耐心等待。
自定义镜像导入配置运行时依赖无效 问题现象 通过API接口选择自定义镜像导入创建模型,配置了运行时依赖,没有正常安装pip依赖包。 原因分析 自定义镜像导入不支持配置运行时依赖,系统不会自动安装所需要的pip依赖包。 处理方法 重新构建镜像。 在构建镜像的dockerfile文件
自动学习使用子账号单击开始训练出现错误Modelarts.0010 用主账号给子账号配置ModelArts所使用的OBS桶的ACL权限即可。 父主题: 模型训练
使用自定义镜像创建在线服务,如何修改默认端口 当模型配置文件中定义了具体的端口号,例如:8443,创建AI应用没有配置端口(默认端口号为8080),或者配置了其他端口号,均会导致服务部署失败。您需要把AI应用中的端口号配置为8443,才能保证服务部署成功。 修改默认端口号,具体操作如下:
快速卸载 手动卸载 删除制作镜像资源栈时需手动删除swr组织下的镜像,请按以下步骤操作,完成后方可执行一键卸载步骤。 访问容器镜像服务我的镜像管理页面,按下图所示,选择镜像名称,单击批量删除,在弹出的删除镜像确认框中输入DELETE,单击确定。 图1 SWR组织管理 一键卸载 登录资源编排