检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原因分析 通过OBS导入模型时,ModelArts会将指定的OBS目录下的所有文件和文件夹复制到镜像中的指定路径下,镜像内路径可以通过self.model_path获取。 处理方法 获取镜像内的路径方法见模型推理代码编写说明。 父主题: 模型管理
执行kill -9 <pid>命令将相关进程结束后,再次执行镜像保存即可。 父主题: 自定义镜像故障
自定义镜像导入模型部署上线调用API报错 部署上线调用API报错,排查项如下: 确认配置文件模型的接口定义中有没有POST方法。 确认配置文件里url是否有定义路径。例如:“/predictions/poetry”(默认为“/”)。
“镜像复制” 镜像复制开关,选择是否将容器镜像中的模型镜像复制到ModelArts中。 关闭时,表示不复制模型镜像,可极速创建模型,更改或删除SWR源目录中的镜像会影响服务部署。 开启时,表示复制模型镜像,无法极速创建模型,SWR源目录中的镜像更改或删除不影响服务部署。
重装的包与镜像装CUDA版本不匹配 问题现象 在现有镜像基础上,重新装了引擎版本,或者编译了新的CUDA包,出现如下错误: 1.
自定义镜像模型部署为在线服务时出现异常 问题现象 在部署在线服务时,部署失败。进入在线服务详情页面,“事件”页签,提示“failed to pull image, retry later”,同时在“日志”页签中,无任何信息。
自定义镜像的制作要求用户对容器相关知识有比较深刻的了解,除非订阅算法和预置框架无法满足需求,否则不推荐使用。自定义镜像需上传至容器镜像服务(SWR),才能用于ModelArts Standard上训练。
上传镜像至容器镜像服务镜像仓库。 使用docker tag命令给上传镜像打标签。 #region和domain信息请替换为实际值,组织名称deep-learning也请替换为自定义的值。
ma-cli image镜像构建支持的命令 ma-cli image命令支持:查询用户已注册的镜像、查询/加载镜像构建模板、Dockerfile镜像构建、查询/清理镜像构建缓存、注册/取消注册镜像、调试镜像是否可以在Notebook中使用等。
修改默认端口号,具体操作如下: 登录ModelArts控制台,左侧菜单选择“模型管理”; 单击“创建”,进入创建模型界面,元模型选择“从容器镜像中选择”,选择自定义镜像; 配置“容器调用接口”和端口号,端口号与模型配置文件中的端口保持一致; 设置完成后,单击“立即创建”,等待模型状态变为
usr/local/cuda-11.8/lib64:/usr/local/cuda-9.1/lib64 需要手动调整优先级,执行命令export LD_LIBRARY_PATH=/usr/local/cuda-9.1/lib64:$LD_LIBRARY_PATH 父主题: 自定义镜像故障
Lite Server算力资源和镜像版本配套关系 Lite Server提供多种NPU、GPU镜像,您可在购买前了解当前支持的镜像及对应详情。
使用自定义镜像创建的训练作业一直处于运行中 问题现象 使用自定义镜像创建训练作业,训练作业的“状态”一直处于“运行中”。 原因分析及处理办法 日志打印如下内容,表示自定义镜像的CPU架构与资源池节点的CPU架构不一致。
使用自定义镜像创建训练作业找不到启动文件 问题现象 使用自定义镜像创建训练作业,出现如下报错,提示找不到运行的主文件:no such file or directory。 原因分析 根据报错提示可以判断是运行命令的启动文件目录不正确导致运行失败。
使用python3.6-torch1.4版本镜像环境安装MMCV报错 问题现象 日志报错中存在AssertionError: MMCV==1.2.5 is used but incompatible. Please install mmcv>=1.3.1, <=1.5.0。
处理方法 需要您把CV2包制作为自定义镜像,上传至容器镜像服务(SWR),选择从容器镜像中导入元模型,部署在线服务。如何制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。 父主题: 服务部署
自定义镜像训练作业配置节点间SSH免密互信 当用户使用基于MPI和Horovod框架的自定义镜像进行分布式训练时,需配置训练作业节点间SSH免密互信,否则训练会失败。 配置节点间SSH免密互信涉及代码适配和训练作业参数配置,本文提供了一个操作示例。
参考线下容器镜像构建及调试章节,构建容器镜像并调试,镜像构建及调试与单机单卡相同。 上传镜像,参考单机单卡训练的上传镜像章节操作。
图1 对Lite Server服务器执行关机操作 制作镜像 单击制作镜像按钮。 在制作镜像界面,填入制作镜像的名称、企业项目,并勾选协议,单击下一步即可制作镜像,制作成功的镜像会保存在租户的IMS镜像服务的私有镜像列表中。 临时文件清理脚本 #!
镜像保存成功后,实例状态变为“运行中”,用户可在“镜像管理”页面查看到该镜像详情。 单击镜像的名称,进入镜像详情页,可以查看镜像版本/ID,状态,资源类型,镜像大小,SWR地址等。