正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
章节),若您使用的是ModelArts基础镜像,可先尝试直接使用工具命令,如果相关命令不存在则需要参考工具安装指导自行安装。 表1 ModelArts昇腾迁移调优工具总览表 使用场景 类别 工具名称 工具描述 工具安装 使用指导 PyTorch GPU训练迁移至PyTorch NPU训练
表1 在线服务配置 参数 说明 名称 在线服务名称。 状态 在线服务当前状态。 来源 在线服务的来源。 服务ID 在线服务的ID。 描述 您可以单击编辑按钮,添加服务描述。 资源池 当前服务使用的资源池规格。若使用公共资源池部署,则不显示该参数。 个性化配置 您可以为在线服务的不
其他性能分析工具 对于GPU和NPU性能比对、NPU多次训练之间性能比对的场景,昇腾提供了性能比对工具compare_tools,通过对训练耗时和内存占用的比对分析,定位到具体劣化的算子,帮助用户提升性能调优的效率。工具将训练耗时拆分为计算、通信、调度三大维度,并针对计算和通信分
创建在线服务包 功能介绍 计费工作流购买资源。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/workfl
模型转换失败怎么办? 常见的模型转换失败原因可以通过查询转换失败错误码来确认具体导失败的原因,Stable Diffusion新推出的模型在转换中可能会遇到算子不支持的问题,可以到华为云管理页面上提交工单来寻求帮助。 父主题: 常见问题
使用Gallery CLI配置工具下载文件 在服务器(ModelArts Lite云服务器或者是本地Windows/Linux等服务器)上登录Gallery CLI配置工具后,通过命令“gallery-cli download”可以从AI Gallery仓库下载资源。 命令说明 登录Gallery
部署AI应用(在线服务) 部署为在线服务 查看服务详情 测试服务 访问在线服务 集成在线服务 CloudShell 父主题: 部署AI应用(部署上线)
benchmark工具用于精度验证,主要工作原理是:固定模型的输入,通过benchmark工具进行推理,并将推理得到的输出与标杆数据进行相似度度量(余弦相似度和平均相对误差),得到模型转换后的精度偏差信息。使用benchmark进行精度比对的基本流程如下: 将模型输入保存二进制文件。 #
库。 Tabs 同时打开多个ipynb文件时,通过Tabs激活或选择文件。 Settings JupyterLab工具系统设置。 Help JupyterLab工具自带的帮助参考。 图15 ipynb文件菜单栏中的快捷键 表4 ipynb文件菜单栏中的快捷键 快捷键 说明 保存文件。
VPC直连的高速访问通道,目前只支持访问在线服务。 因流量限控,获取在线服务的IP和端口号次数有限制,每个主账号租户调用次数不超过2000次/分钟,每个子账号租户不超过20次/分钟。 目前仅支持自定义镜像导入模型,部署的服务支持高速访问通道。 操作步骤 使用VPC直连的高速访问通道访问在线服务,基本操作步骤如下:
ssl_certificate /etc/nginx/ssl/server/server.crt; ssl_password_file /etc/nginx/keys/fifo; ssl_certificate_key /etc/nginx/ssl/server/server
使用Gallery CLI配置工具上传文件 在服务器(ModelArts Lite云服务器或者是本地Windows/Linux等服务器)上登录Gallery CLI配置工具后,通过命令“gallery-cli upload”可以往AI Gallery仓库上传资产。 命令说明 登录Gallery
部署的在线服务状态为告警 问题现象 在部署在线服务时,状态显示为“告警”。 解决方法 使用状态为告警的服务进行预测,可能存在预测失败的风险,请从以下4个角度进行排查,并重新部署。 后台预测请求过多。 如果您使用API接口进行预测,请检查是否预测请求过多。大量的预测请求会导致部署的在线服务进入告警状态。
cket(双向实时),它更加轻量级且易于实现。 前提条件 在线服务中的AI应用导入选择的镜像需支持SSE协议。 约束与限制 SSE协议只支持部署在线服务。 只支持自定义镜像导入AI应用部署的在线服务。 调用API访问在线服务时,对预测请求体大小和预测时间有限制: 请求体的大小不超过12MB,超过后请求会被拦截。
部署在线服务出现报错No CUDA runtime is found 问题现象 部署在线服务出现报错No CUDA runtime is found,using CUDA_HOME='/usr/local/cuda'。 原因分析 从日志报错信息No CUDA runtime is
在线服务预测报错ModelArts.4302 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后,向运行的服务发起推理请求,报错ModelArts.4302。 原因分析及处理方法 服务预测报错ModelArts.4302有多种场景,以下主要介绍两种场景: "error_msg":
在线服务预测报错DL.0105 问题现象 在线服务预测报错DL.0105,报错日志:“TypeError:‘float’object is not subscriptable”。 原因分析 根据报错日志分析,是因为一个float数据被当做对象下标访问了。 处理方法 将模型推理代码
在线服务预测报错ModelArts.4206 问题现象 在线服务部署完成且服务已经处于“运行中”的状态,向服务发起推理请求,报错“ModelArts.4206”。 原因分析 ModelArts.4206表示该API的请求流量超过了设定值。为了保证服务的平稳运行,ModelArts
本模型或者切换模型版本时,原服务预测API不会变化。 调整模型版本的操作可以参考如下的步骤。 前提条件 已存在部署完成的服务。 已完成模型调整,创建AI应用新版本。 操作步骤 登录ModelArts管理控制台,在左侧导航栏中选择“部署上线 > 在线服务”,默认进入“在线服务”列表。
在线服务和批量服务有什么区别? 在线服务 将模型部署为一个Web服务,您可以通过管理控制台或者API接口访问在线服务。 批量服务 批量服务可对批量数据进行推理,完成数据处理后自动停止。 批量服务一次性推理批量数据,处理完服务结束。在线服务提供API接口,供用户调用推理。 父主题: