检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Standard上运行GPU单机单卡训练作业 操作流程 准备工作 购买服务资源（OBS和SWR） 配置权限 创建专属资源池（不需要打通VPC） 安装和配置OBS命令行工具 （可选）工作空间配置 模型训练 本地构建镜像及调试 上传镜像 上传数据和算法到OBS 使用Notebook进行代码调试
无法导入模块 问题现象 ModelArts训练作业导入模块时日志报错： Traceback (most recent call last):File "project_dir/main.py", line 1, in <module>from module_dir import module_file
通过运行的实例保存成容器镜像 功能介绍 运行的实例可以保存成容器镜像，保存的镜像中，安装的依赖包（pip包）不丢失，VS Code远程开发场景下，在Server端安装的插件不丢失。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
driver version : 440.95.01 gpu driver version : 440.95.01（GPU驱动在宿主机中安装，镜像中无需安装） cuda runtime version : 10.2（PyTorch自带，无需关心） cudnn version : 7.6
book，使用新建的Notebook时，注意减少软件包的安装或文件的下载等操作，也可以减少容器大小； 减少镜像文件的大小 如果无法确认哪些包或文件可以不安装，那么可以选择一个较小的镜像来重建Notebook，然后在其中再安装需要的软件或文件。目前公共镜像中占用空间最小的是mindspore1
使用预置算法训练时，训练失败，报“bndbox”错误 问题现象 使用预置算法创建训练作业，训练失败，日志中出现如下报错。 KeyError: 'bndbox' 原因分析 用于训练的数据集中，使用了“非矩形框”标注。而预置使用算法不支持“非矩形框”标注的数据集。 处理方法 此问题有两种解决方法：
检查依赖包是否存在 如果依赖包不存在，您可以使用以下两种方式完成依赖包的安装。 方式一（推荐使用）：在创建我的算法时，需要在“代码目录”下放置相应的文件或安装包。 请根据依赖包的类型，在代码目录下放置对应文件： 依赖包为开源安装包时 在“代码目录”中创建一个命名为“pip-requirements
2.9(基于CentOS制作的Linux发行版)，经常遇到服务器重启后，操作系统内核无故升级，导致系统上原安装的nvidia-driver等软件无法使用，只能卸载重新安装。 原因分析 分析EulerOS内核是如何在不知情的情况下升级的： 首先查看当前操作系统内核。 [root@Server-ddff
Code。VS Code安装请参考安装VS Code软件。 图4 下载并安装VS Code 如果用户之前未安装过ModelArts VS Code插件，此时会弹出安装提示，请单击“Install and Open”进行安装；如果之前已经安装过插件，则不会有该提示，请跳过此步骤，直接执行5。 图5
本的固件驱动安装。 图6 检查npu-smi工具 工具检查正常后，进行固件和驱动安装。 固件和驱动安装时，注意安装顺序： 首次安装场景：硬件设备刚出厂时未安装驱动，或者硬件设备前期安装过驱动固件但是当前已卸载，上述场景属于首次安装场景，需按照“驱动->固件”的顺序安装驱动固件。
上传数据和算法至OBS（首次使用时需要） 前提条件 已经在OBS上创建好并行文件系统，请参见创建并行文件系统。 已经在obsutil安装和配置，请参见obsutils安装和配置。 准备数据 单击下载动物数据集至本地，并解压。 通过obsutil将数据集上传至OBS桶中。 ./obsutil cp
Shell界面提示如下。 图1 Cloud Shell界面 当作业处于非运行状态或权限不足时会导致无法使用Cloud Shell，请根据提示定位原因即可。 图2 报错提示 部分用户登录Cloud Shell界面时，可能会出现路径显示异常情况，此时在Cloud Shell中单击回车键即可恢复正常。
创建Notebook失败，查看事件显示JupyterProcessKilled 问题现象 创建Notebook失败，查看事件显示JupyterProcessKilled。 图1 查看事件 原因分析 出现此故障是因为Jupyter进程被清理掉了，一般情况Notebook会自动重启的
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.5。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
ce 原因分析 出现该问题的可能原因如下： 用户的自定义镜像中无ascend_check工具，导致启动预检失败。 用户的自定义镜像中的ascend相关工具不可用，导致预检失败。 处理方法 通过给训练作业加环境变量“MA_DETECT_TRAIN_INJECT_CODE”并将对应的
如果想保持长时间连接不断开，可以通过配置SSH定期发送通信消息，避免防火墙认为链路空闲而关闭。 客户端配置（用户可根据需要自行配置，不配置默认是不给服务端发心跳包），如图1，图2所示。 图1 打开VS Code ssh config配置文件 图2 增加配置信息 配置信息示例如下： Host ModelArts-xx
例如，当训练代码启动脚本在OBS路径为“obs://bucket-name/app/code/train.py”，创建作业时配置代码目录为“/bucket-name/app/code/”。则代码目录配置完成后，执行如下命令，那么“run_train.sh”将选中的“code”文件夹下载到训练容器的“/h
创建训练作业时出现“实例挂卷失败”的事件 问题现象 训练作业的状态一直在“创建中”，查看训练作业的“事件”，有异常信息“实例挂卷失败”，详情为“Unable to mount volumes for pod xxx ... list of unmounted volumes=[nfs-x]”。
放置在配置的“代码目录”下，“启动方式”必须选择“预置框架”。 需要在创建训练作业前将相关文件上传至OBS路径下，文件打包要求请参见安装文件规范。 安装文件规范 请根据依赖包的类型，在代码目录下放置对应文件： 依赖包为开源安装包时 暂时不支持直接从github的源码中安装。 在“
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
