检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看在线服务详情 查看在线服务的事件 管理在线服务生命周期 修改在线服务配置 在云监控平台查看在线服务性能指标 集成在线服务API至生产环境中应用 设置在线服务故障自动重启 父主题: 使用ModelArts Standard部署模型并推理预测
复制进去的路径是什么,怎么读取对应的文件或者文件夹里面的内容? 原因分析 通过OBS导入模型时,ModelArts会将指定的OBS目录下的所有文件和文件夹复制到镜像中的指定路径下,镜像内路径可以通过self.model_path获取。 处理方法 获取镜像内的路径方法见模型推理代码编写说明。
been published in the environment”,请到在线服务详情界面,“调用指南”页签中获取正确的API接口地址。 如果您在配置文件url中有定义路径,需要在API调用body体中调用路径后拼接自定义路径,例如:您定义url为“/predictions/poetry
管理批量推理作业 查看批量服务详情 查看批量服务的事件 管理批量服务生命周期 修改批量服务配置 父主题: 使用ModelArts Standard部署模型并推理预测
如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。 yum install -y
推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景:部署在线服务Predictor的推理预测
error”错误,可以运行代码,但是无法保存 如果当前Notebook还可以运行代码,但是无法保存,保存时会提示“save error”错误。大多数原因是华为云WAF安全拦截导致的。 当前页面,即用户的输入或者代码运行的输出有一些字符被华为云拦截,认为有安全风险。出现此问题时,请提交工单,联系专业的工程师帮您核对并处理问题。
error”错误,可以运行代码,但是无法保存 如果当前Notebook还可以运行代码,但是无法保存,保存时会提示“save error”错误。 大多数原因是华为云WAF安全拦截导致的。当前页面,即用户的输入或者代码运行的输出有一些字符被华为云拦截,认为有安全风险。 出现此问题时,请提交工单,联系专业的工程师帮您核对并处理问题。
创建模型规范参考 模型包结构介绍 模型配置文件编写说明 模型推理代码编写说明 自定义引擎创建模型规范 自定义脚本代码示例 父主题: 使用ModelArts Standard部署模型并推理预测
通过自定义镜像创建模型失败 问题现象 通过用户自定义镜像创建模型失败。 原因分析 可能原因如下: 导入模型使用的镜像地址不合法或实际镜像不存在 用户给ModelArts的委托中没有SWR相关操作权限 用户为子账号,没有主账号SWR的权限 使用的是非自己账号的镜像 使用的镜像为公开镜像
问题现象 在导入模型时,提示模型或镜像大小超过限制。 原因分析 如果使用的是OBS导入或者训练导入,则是基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和超过了限制。 如果使用的是自定义镜像导入,则是解压后镜像和镜像下载文件的大小总和超过了限制。 处理方法 精简模型或镜像后,重新导入。
查看在线服务的事件 服务的(从用户可看见部署服务任务开始)整个生命周期中,每一个关键事件点在系统后台均有记录,用户可随时在对应服务的详情页面进行查看。 方便用户更清楚的了解服务部署和运行过程,遇到任务异常时,更加准确的排查定位问题。可查看的事件点包括: 表1 事件 事件类型 事件
查看批量服务的事件 服务的(从用户可看见部署服务任务开始)整个生命周期中,每一个关键事件点在系统后台均有记录,用户可随时在对应服务的详情页面进行查看。 方便用户更清楚的了解服务部署和运行过程,遇到任务异常时,更加准确的排查定位问题。可查看的事件点包括: 表1 事件 事件类型 事件
理及半自动化标注、大规模分布式训练、自动化模型生成及模型按需部署能力,帮助用户快速创建和部署AI应用,管理全周期AI工作流。 “一站式”是指AI开发的各个环节,包括数据处理、算法开发、模型训练、创建AI应用、AI应用部署都可以在ModelArts上完成。从技术上看,ModelAr
第99.9%的值作为TP99.9的值。 ≥ms ModelArts在线服务 1分钟 对于有多个测量维度的测量对象,使用接口查询监控指标时,所有测量维度均为必选。 查询单个监控指标时,多维度dim使用样例:dim.0=service_id,530cd6b0-86d7-4818-837f-935f6a27414d&dim
查看批量服务详情 当模型部署为批量服务成功后,您可以进入“批量服务”页面,来查看服务详情。 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署>批量服务”,进入“批量服务”管理页面。 单击目标服务名称,进入服务详情页面。 您可以查看服务的“名称”、“状态”等信息,详情说明请参见表1。
这种报错一般是因为所用镜像系统引擎和构建镜像的系统引擎不一致引起的,例如使用的是x86的镜像却标记的是arm的系统架构。 可以通过查看模型详情看到配置的系统运行架构。基础镜像的系统架构详情可以参考推理基础镜像列表。 父主题: 模型管理
已在ModelArts中创建模型。 创建新版本 在“模型”页面,单击操作列的“创建新版本”进入“创建新版本”页面,参数配置除版本外,将默认选择上一个版本的配置信息,您可以对参数配置进行修改,参数说明请参见创建模型。单击“立即创建”,完成新版本的创建操作。 删除版本 在“模型管理”页面,单击
部署一个免费的在线服务,如果您已经部署了一个免费在线服务,需要先将其删除才能部署新的免费在线服务)。 图7 部署模型 完成服务部署后,返回在线服务页面列表页,等待服务部署完成,当服务状态显示为“运行中”,表示服务已部署成功。 Step6 预测结果 在“在线服务”页面,单击在线服务名称,进入服务详情页面。
导入模型提示单个模型文件超过5G限制 问题现象 在导入模型时,提示单个模型文件大小超过5G限制。 原因分析 在不使用动态加载的情况下,系统对单个模型文件的限制大小为5G,超过时无法进行导入。 处理方法 精简模型文件后,重新导入。 使用动态加载功能进行导入。 图1 使用动态加载 父主题: