检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/home/ma-user/etc/ssh_host_rsa_key0 将准备好的sshd启动脚本文件上传至OBS的训练代码目录下。 创建自定义镜像训练作业。 “代码目录”选择存有sshd启动脚本文件的OBS地址。 “启动命令”需要适配sshd启动脚本,如下所示: bash ${MA_JOB_DIR}/demo-code/start_sshd
85版本软件。下载链接:https://code.visualstudio.com/updates/v1_85。 父主题: VS Code连接开发环境失败故障处理
VSCode远程连接时卡顿,或Python调试插件无法使用如何处理? 问题现象 VSCode远程连接Notebook时,单击“VS Code接入”跳转至连接界面时一直卡顿,或Python调试插件无法使用。 图1 Python调试插件错误 原因分析 该问题通常由VS Code安装了第三方中文插件引起。
问题现象 在使用pytorch启动多进程的时候,出现如下报错: RuntimeError: Cannot re-initialize CUDA in forked subprocess 原因分析 出现该问题的可能原因如下: multiprocessing启动方式有误。 处理方法 可以参考官方文档,如下:
解决方法:请修改白名单为本地网络访问IP或者去掉白名单配置。 原因分析二:本地网络不通。 解决方法:检查本地网络以及网络限制。 父主题: VS Code连接开发环境失败故障处理
after”,此参数默认值为360s,将其设置为3600s或更大值。 图3 设置“Stop server after” 父主题: VS Code连接开发环境失败故障处理
"命令在节点 $node_ip 执行失败。" exit 1 fi done echo "远程执行脚本成功" sleep 32 fi # 步骤5: 启动容器 echo "步骤5: 启动容器..." # 启动容器 docker run
完成所有操作后,再次关闭并打开VS Code并尝试连接到远程SSH主机。备注:此时密钥需放到.ssh文件夹中。 父主题: VS Code连接开发环境失败故障处理
Remote - SSH只能在开源的VSCode软件中使用。 解决方案 推荐使用开源VS Code软件。 父主题: VS Code连接开发环境失败故障处理
训练作业进程异常退出 问题现象 训练作业运行失败,日志中出现如下类似报错: [Modelarts Service Log]Training end with return code: 137 原因分析 日志显示训练进程的退出码为137。训练进程表示用户的代码启动后的进程,所以这里的退出码是用户
入,而因为集群volcano没有污点容忍,且集群内只有一个节点,导致volcano无法启动,进而导致modelarts-os节点上管理污点的maos-node-agent容器无法启动,使得污点无法被自动清理。 处理方法 (推荐)解决方案一(按需使用volcano调度器): CCE
考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 图1 创建训练作业 训练作业启动命令中输入: cd /home/ma-user/work/Qwen-VL; ln -s ${DATA}/ qwenvl_dataset;
DEW”,选择“密钥对管理 > 账号密钥对”页签,查看并下载正确的密钥文件。 如果密钥不支持下载且已无法找到之前下载的密钥,建议创建新的开发环境实例并创建新的密钥文件。 父主题: VS Code连接开发环境失败故障处理
ModelArts提供的Notebook实例是以ma-user启动的,用户进入实例后,工作目录默认是“/home/ma-user/work”。 创建实例,“/home/ma-user/work”目录下挂载的数据,在实例停止、重新启动后依然保留,其他目录下的内容会还原。 父主题: Standard
g no UserKnownHostsFile /dev/null ForwardAgent yes 父主题: VS Code连接开发环境失败故障处理
常见问题 模型转换失败怎么办? 常见的模型转换失败原因可以通过查询转换失败错误码来确认具体导失败的原因。Stable Diffusion新推出的模型在转换中可能会遇到算子不支持的问题,您可以到华为云管理页面上提交工单来寻求帮助。 图片大Shape性能劣化严重怎么办? 在昇腾设备上
可能为/home/ma-user/work磁盘空间不足。 解决方法 删除/home/ma-user/work路径下无用文件。 父主题: VS Code连接开发环境失败故障处理
附录:Standard大模型推理常见问题 问题1:在推理预测过程中遇到NPU out of memory。 解决方法:调整推理服务启动时的显存利用率,将--gpu-memory-utilization的值调小。 问题2:在推理预测过程中遇到ValueError:User-specified
附录:Standard大模型推理常见问题 问题1:在推理预测过程中遇到NPU out of memory。 解决方法:调整推理服务启动时的显存利用率,将--gpu-memory-utilization的值调小。 问题2:在推理预测过程中遇到ValueError:User-specified
附录:大模型推理standard常见问题 问题1:在推理预测过程中遇到NPU out of memory。 解决方法:调整推理服务启动时的显存利用率,将--gpu-memory-utilization的值调小。 问题2:在推理预测过程中遇到ValueError:User-specified