-
部署上线 - AI开发平台ModelArts
已将AI应用部署为在线服务。 服务测试 服务部署节点运行成功后,单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签,进行服务测试。您也可以通过调用代码对服务进行测试,根据部署服务类型的不同,具体操作详情参见访问在线服务。 图1 服务测试 下面的测试,是您在自动学习图
-
推理精度测试 - AI开发平台ModelArts
推理精度测试 本章节介绍如何进行推理精度测试,建议在Notebook的JupyterLab中另起一个Terminal,进行推理精度测试。若需要在生产环境中进行推理精度测试,请通过调用接口的方式进行测试。 Step1 执行精度测试 精度测试需要数据集进行测试。推荐公共数据集mmlu
-
停止计费 - AI开发平台ModelArts
flow、开发环境、模型训练、在线服务、专属资源池涉及到需要停止的计费项如下: 自动学习:停止因运行自动学习作业而创建的训练作业和在线服务。删除存储到OBS中的数据及OBS桶。 Workflow:停止因运行Workflow作业而创建的训练作业和在线服务。删除存储到OBS中的数据及OBS桶。
-
启动/停止/查找/复制/删除Workflow - AI开发平台ModelArts
kflow。 删除后的Workflow无法恢复,请谨慎操作。 删除Workflow后,对应的训练作业和在线服务不会随之被删除,需要分别在“训练管理>训练作业”和“部署上线>在线服务”页面中手动删除任务。 父主题: 如何使用Workflow
-
部署上线 - AI开发平台ModelArts
应用部署为在线服务。 服务测试 服务部署节点运行成功后,单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签,进行服务测试。您也可以通过调用代码对服务进行测试,根据部署服务类型的不同,具体操作详情参见访问在线服务、访问边缘服务。 图1 服务测试 下面的测试,是您在自动
-
部署上线 - AI开发平台ModelArts
应用部署为在线服务。 服务测试 服务部署节点运行成功后,单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签,进行服务测试。您也可以通过调用代码对服务进行测试,根据部署服务类型的不同,具体操作详情参见访问在线服务、访问边缘服务。 图1 服务测试 下面的测试,是您在自动
-
部署上线 - AI开发平台ModelArts
已将AI应用部署为在线服务。 服务测试 服务部署节点运行成功后,单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签,进行服务测试。您也可以通过调用代码对服务进行测试,根据部署服务类型的不同,具体操作详情参见访问在线服务。 图1 服务测试 下面的测试,是您在自动学习物
-
服务管理概述 - AI开发平台ModelArts
服务管理概述 服务管理,包括将已创建成功的模型部署为在线服务或本地服务。可以实现在线预测、本地预测、服务详情查询、查看服务日志等功能。 这里的在线服务包括“predictor”和“transformer”两类,都包括下文描述的功能,本章节以“predictor”服务为例进行说明。
-
身份认证与访问控制 - AI开发平台ModelArts
种形式,其本质都是通过ModelArts提供的REST风格的API接口进行请求。 ModelArts的接口均需要进行认证鉴权以此来判断是否通过身份认证。通过控制台发出的请求需要通过Token认证鉴权,调用API接口认证鉴权支持Token认证和AK/SK认证两种方式。 访问控制 M
-
使用MobaXterm工具SSH连接Notebook后,经常断开或卡顿,如何解决? - AI开发平台ModelArts
使用MobaXterm工具SSH连接Notebook后,经常断开或卡顿,如何解决? 问题现象 MobaXterm成功连接到开发环境后,过一段时间会自动断开。 可能原因 配置MobaXterm工具时,没有勾选“SSH keepalive”或专业版MobaXterm工具的“Stop server
-
部署上线失败 - AI开发平台ModelArts
出现此问题,一般是因为后台服务故障导致的,建议稍等片刻,然后重新部署在线服务。如果重试超过3次仍无法解决,请获取如下信息,并联系华为云技术支持协助解决故障。 获取服务ID。 进入“部署上线>在线服务”页面,在服务列表中找到自动学习任务中部署的在线服务,自动学习部署的服务都是以“exeML-”开头的
-
精度校验 - AI开发平台ModelArts
转换模型后执行推理前,可以使用benchmark工具对MindSpore Lite云侧推理模型进行基准测试。它不仅可以对MindSpore Lite云侧推理模型前向推理执行耗时进行定量分析(性能),还可以通过指定模型输出进行可对比的误差分析(精度)。 精度测试 benchmark工具用于精度验证,主要工作
-
查看监控指标 - AI开发平台ModelArts
ModelArts在线服务正常运行。 已在云监控页面设置告警规则,具体操作请参见设置告警规则。 在线服务已正常运行一段时间(约10分钟)。 对于新创建的在线服务,需要等待一段时间,才能查看上报的监控数据和监控视图。 故障、删除状态的在线服务,无法在云监控中查看其监控指标。当在线服务再次启动或恢复后,即可正常查看。
-
推理性能测试 - AI开发平台ModelArts
推理性能测试 本章节介绍如何进行推理性能测试,建议在在Notebook的JupyterLab中另起一个Terminal,执行benchmark脚本进行性能测试。若需要在生产环境中进行推理性能测试,请通过调用接口的方式进行测试。 benchmark方法介绍 性能benchmark包括两部分。
-
部署上线任务提交失败 - AI开发平台ModelArts
型部署为一个在线服务,如果由于配额限制(即在线服务的个数超出配额限制),导致无法将模型部署为服务。此时会在自动学习项目中提示“部署上线任务提交失败”的错误。 修改建议 方法1:进入“部署上线>在线服务”页面,将不再使用的服务删除,释放资源。 方法2:如果您部署的在线服务仍需继续使用,建议申请增加配额。
-
简介 - AI开发平台ModelArts
针对转换的模型运行时应用层适配。 数据预处理。 模型编排。 模型裁剪。 精度校验。 精度对比误差统计工具。 自动化精度对比工具。 网络结构可视化工具。 性能调优。 性能测试。 性能调优三板斧。 性能分析与诊断。 迁移测试报告。 推理迁移验收表。 ModelArts开发环境 ModelArts作为华为
-
托管模型资产 - AI开发平台ModelArts
定义模型规范,否则该模型无法正常使用AI Gallery工具链服务(微调大师和在线推理服务)。 当托管的是自定义镜像时,上传的模型文件要满足自定义镜像规范,否则该镜像无法正常使用AI Gallery工具链服务(微调大师和在线推理服务)。 当文件状态变成“上传成功”表示数据文件成功上传至AI
-
性能调优五板斧 - AI开发平台ModelArts
件,如果存在则不在线编译算子;如果不存在,再进行在线编译。此时虽然编译优化少,但是没有编译时间,模型训练性能大概率比配置为优先编译高。 总结: 如果模型中无动态shape,启动优先在线编译,可提高训练性能。 如果模型中只有动态shape(该情况较少),关闭优先在线编译,模型训练性能大概率会更高。
-
自动学习训练后的模型是否可以下载? - AI开发平台ModelArts
自动学习训练后的模型是否可以下载? 不可以下载。但是您可以在AI应用管理页面查看,或者将此模型部署为在线服务。 父主题: 模型训练
-
AI CPU 算子替换样例 - AI开发平台ModelArts
当前PyTorch支持的dtype类型如下,详见Link。 图1 PyTorch支持的dtype 基于此对常见的算子如MUL、EQUAL、TENSOREQUAL等做单算子测试,看有哪些类型的算子是执行在AICPU上的,然后尝试转换到支持AICORE单元的类型dtype上计算,实现效率提升的目的。 MUL 图2 Mul