检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从上图报错日志判断,预测失败是模型推理代码编写有问题。 解决方法 根据日志报错提示,append方法中缺少必填参数,修改模型推理代码文件“customize_service.py”中的代码,给append方法中传入合理的参数。 如需了解更多模型推理代码编写说明,请参考模型推理代码编写说明。 父主题:
EST API进行的Python封装,以简化用户的开发工作。用户直接调用ModelArts SDK即可轻松管理数据集、启动AI训练以及生成模型并将其部署为在线服务。 ModelArts SDK目前只提供Python语言的SDK,同时支持大于3.7.x版本且小于3.10.x版本的Python版本,推荐使用3
AI Gallery(旧版) AI Gallery简介 免费资产和商用资产 入驻AI Gallery 我的Gallery介绍 订阅使用 发布分享 参加活动 合作伙伴 需求广场
使用PyCharm Toolkit插件连接Notebook 由于AI开发者会使用PyCharm工具开发算法或模型,为方便快速将本地代码提交到ModelArts的训练环境,ModelArts提供了一个PyCharm插件工具PyCharm ToolKit,协助用户完成SSH远程连接N
是否支持Keras引擎? 开发环境中的Notebook支持。训练作业和模型部署(即推理)暂时不支持。 Keras是一个用Python编写的高级神经网络API,它能够以TensorFlow、CNTK或者Theano作为后端运行。Notebook开发环境支持“tf.keras”。 如何查看Keras版本
pec字段配套。 weight Integer 权重,分配到此模型的流量权重。 source_type String 模型来源,当模型是由自动学习产生时返回此字段,取值为auto。 model_id String 模型ID。 src_path String 批量任务输入数据的OBS路径,例如:“https://xxx
del_b","model_version":"0.0.1","model_type":"TensorFlow"...... 原因分析 当模型名称包含下划线时,下划线涉及转义处理。 处理方法 需要在请求中增加exact_match参数,且参数值设置为true,确保model_name返回值正确。
需要注意的是,并不是所有的模型使用性能自动调优都是有收益的,在本例中,ResNet50模型自动调优收益甚微(模型转换时已经做了部分针对性优化),在有些比较复杂的模型场景下可能会有较好的收益。比如VAE_ENCODER模型使用算子调优收益为11.15%。 图3 VAE_ENCODER模型使用AOE自动调优在屏幕上显示日志
Notebook实例中的数据或代码文件可以存储在OBS中。 训练模型 训练作业使用的数据集、算法、运行脚本、训练输出产物、训练过程日志均可以存储在OBS中。 推理部署 训练作业结束后,其生成的模型可以存储在OBS中,创建AI应用时,从OBS中导入已有的模型文件。 创建OBS操作步骤 登录OBS管理控
real-time类型必选。权重百分比,分配到此模型的流量权重,仅当infer_type为real-time时需要配置,多个权重相加必须等于100;当在一个在线服务中同时配置了多个模型版本且设置不同的流量权重比例时,持续地访问此服务的预测接口,ModelArts会按此权重比例将预测请求转发到对应的模型版本实例。 d
在线服务预测报错ModelArts.4503 当使用推理的镜像并且出现MR.XXXX类型的错误时,表示已进入模型服务,一般是模型推理代码编写有问题。 请根据构建日志报错信息,定位服务预测失败原因,修改模型推理代码后,重新导入模型进行预测。 经典案例:在线服务预测报错MR.0105 出现其他情况,优先检查客户端和外部网络是否有问题。
、长稳可靠、超大规模的云原生AI算力集群,提供一站式开通、网络互联、高性能存储、集群管理等能力,满足AI高性能计算等场景需求。目前其已在大模型训练推理、自动驾驶、AIGC、内容审核等领域广泛得到应用。 ModelArts Lite又分以下2种形态: ModelArts Lite
er资源池已经默认安装volcano调度器,训练任务默认使用volcano job形式下发lite池集群。训练测试用例使用NLP的bert模型,详细代码和指导可参考Bert。 图1 任务示意图 操作步骤 拉取镜像。本测试镜像为bert_pretrain_mindspore:v1,已经把测试数据和代码打进镜像中。
的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE(VS Code)开发模型。 父主题: 硬盘限制故障
指导参见链接:访问在线服务(APP认证)。 Body: body的组装和模型强相关,不同来源的模型body的组装方式不同。 模型为从容器镜像中导入的:需要按照自定义镜像的要求组织,请咨询该镜像的制作人。 模型为从对象存储(OBS)导入的:此时对body的要求会在推理代码中体现,具
Benchmark精度检查工具,可以转换模型后执行推理前,使用其对MindSpore Lite模型进行基准测试,它不仅可以对MindSpore Lite模型前向推理执行耗时进行定量分析(性能),还可以通过指定模型输出进行可对比的误差分析(精度)。 模型自动调优工具 AOE(Ascend
等领域的开源模型,ModelArts已经提供了迁移好的开箱即用模型,且保证了较优的精度和性能。如果用户业务同样使用这些开源模型,建议直接使用ModelArts提供的模型运行指导,其余场景再考虑使用本指导自行迁移和调优。 迁移流程 模型迁移主要指将开源社区中实现过的模型或客户自研模
0提供的文件系统作为训练任务所需的存储进行AI模型的训练和探索。同时提供OBS接口,支持从云外导入训练数据。 提供高性能文件客户端,满足重型训练任务中对存储高带宽诉求,同时提供OBS访问功能,同一份训练数据通过OBS接口导入到存储之后不需要再进相关转化,即可支持模型训练。 提供对象存储语义,和Posix语义有区别,需要进一步理解。
使用场景:使用新版本的模型对已有的服务进行更新,需要保证新版本的模型与已部署服务的模型名称一致。 import modelarts.workflow as wf # 通过ServiceStep来定义一个服务部署节点,输入指定的模型对已部署的服务进行更新 # 定义模型名称参数 model_name
训练作业及创建AI应用,并将其部署为在线服务。 ModelArts SDK使用限制 本地ModelArts SDK不支持进行训练作业调测、模型调试和在开发环境中部署本地服务进行调试,当前仅支持在开发环境Notebook中调试。 本地安装ModelArts SDK步骤 在本地安装ModelArts