检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义镜像导入配置运行时依赖无效 问题现象 通过API接口选择自定义镜像导入创建模型，配置了运行时依赖，没有正常安装pip依赖包。 原因分析 自定义镜像导入不支持配置运行时依赖，系统不会自动安装所需要的pip依赖包。 处理方法 重新构建镜像。 在构建镜像的dockerfile文件
自定义镜像导入不支持配置运行时依赖，在构建镜像的dockerfile文件中安装pip依赖包。FAQ 异常 非自定义镜像不支持指定swr_location字段。 Non-custom type models should not contain swr_location. 请删除模型配置文件config
准备权重 准备BF16权重 准备W8A8权重 父主题： DeepSeek模型基于ModelArts Lite Server适配MindIE推理部署指导
您可以对处于“运行完成”、“异常”和“停止”状态的服务进行启动操作，“部署中”状态的服务无法启动。启动服务，当服务处于“运行中”状态后，ModelArts将开始计费。您可以通过如下方式启动服务： 登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署”，进入目标服务类型管理页面。您可以单击“操作”列的“启动”，启动服务。
ModelArts SDK下载文件目标路径设置为文件名，部署服务时报错 问题现象 ModelArts SDK在OBS下载文件时，目标路径设置为文件名，在本地IDE运行不报错，部署为在线服务时报错。 代码如下： session.obs.download_file（obs_path,
l API，可使用HTTPS协议访问。ModelArts提供了SDK用于调用在线服务API，SDK调用方式请参见《SDK参考》>“场景1：部署在线服务Predictor的推理预测”。 除此之外，您还可以使用常见的开发工具及开发语言调用此接口，建议通过互联网搜索并获取调用标准Restful
通过API接口查询模型详情，model_name返回值出现乱码 问题现象 通过API接口查询模型详情，model_name返回值出现乱码。例如model_name为query_vec_recall_model，但是api接口返回结果是query_vec_recall_model_b。
out”提示，不显示详细的构建日志。 处理方法 预先准备需要编译下载的依赖包，减少依赖包下载和编译的时间。可通过线下wheel包方式安装运行环境依赖。线下wheel包安装，需确保wheel包与模型文件放在同一目录。 优化模型代码，提高构建模型镜像的编译效率。 父主题： 模型管理
h5”格式转换为TensorFlow的格式，然后再导入ModelArts中。 从Keras转TensorFlow操作指导请参见其官网指导。 父主题： Standard推理部署
--disable-async-output-proc：关闭异步后处理特性，关闭后性能会下降。 多机部署启动推理服务（可选） 当单机显存无法放下模型权重时，可选用多机方式部署；多机部署方式，需要机器在同一个集群，NPU卡之间IP能够ping通方可，具体步骤如下： 查看卡IP，在其中一个宿主机上执行。
自定义脚本代码示例 从OBS中导入模型文件创建模型时，模型文件包需符合ModelArts的模型包规范，推理代码和配置文件也需遵循ModelArts的要求。 本章节提供针对常用AI引擎的自定义脚本代码示例（包含推理代码示例）。模型推理代码编写的通用方法及说明请见模型推理代码编写说明。
不存在则建议使用whl包进行安装（将待安装的whl包放到模型所在的OBS目录下）。 查看待安装包的安装限制和前置依赖等，排查是否满足相关要求。 如果包有依赖关系，请参考导入模型时，模型配置文件中的安装包依赖参数如何编写？章节配置包的先后依赖关系。 父主题： 模型管理
关于Advisor使用及安装过程请参见昇腾社区Gitee。最后生成导出的各类场景的建议包含以下两种： Terminal日志信息的概览建议。 包含Detail信息及修改示例的HTML信息。 按照建议信息做如下修改： 亲和优化器使能，在train.py中修改优化器为apex混合精度模式下的DD
ModelArts导入模型时，如何编写模型配置文件中的安装包依赖参数？ 问题描述 从OBS中或者从容器镜像中导入模型时，开发者需要编写模型配置文件。模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口。配置文件为JSON格式。配置文件中的“dependencies”，表示配置模型推
ist格式填入，默认安装包存在先后依赖关系（即写在前面的先安装，写在后面的后安装），且支持线下wheel包安装（wheel包必须与模型文件放在同一目录）。示例请参考导入模型时安装包依赖配置文件如何书写？ health 否 health数据结构 镜像健康接口配置信息，只有“mode
5000 } } } 父主题： DeepSeek模型基于ModelArts Lite Server适配MindIE推理部署指导
步骤一：准备工作 注册华为账号并开通华为云、实名认证 注册华为账号并开通华为云 进行实名认证 配置委托访问授权 ModelArts使用过程中涉及到OBS等服务交互，首次使用ModelArts需要用户配置委托授权，允许访问这些依赖服务。具体配置操作请参见配置ModelArts Standard访问授权。
创建模型时，OBS文件目录对应镜像里面的目录结构是什么样的？ 问题现象 创建模型时，元模型来源指定的OBS目录下存放了自定义的文件和文件夹，都会复制到镜像中去。复制进去的路径是什么，怎么读取对应的文件或者文件夹里面的内容？ 原因分析 通过OBS导入模型时，ModelArts会将指
py”中，需要添加一个子类，该子类继承对应模型类型的父类，各模型类型的父类名称和导入语句如表1所示。导入语句所涉及的Python包在ModelArts环境中已配置，用户无需自行安装。 表1 各模型类型的父类名称和导入语句 模型类型 父类 导入语句 TensorFlow TfServingBaseService
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
