检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
[INFO] Booting worker with pid: 1897 [2022-10-24 11:37:54 +0000] [997] [INFO] Booting worker with pid: 997 服务异常进程反复重启导致预测请求无法发送到服务实例。 可以通过以下方式解决问题：
服务状态一直处于“部署中” 问题现象 服务状态一直处于“部署中”，查看模型日志未发现服务有明显错误。 原因分析 一般情况都是模型的端口配置有问题。建议您首先检查创建模型的端口是否正确。 处理方法 模型的端口没有配置，如您在自定义镜像配置文件中修改了端口号，需要在部署模型时，配置对应的端口号，使新的模型重新部署服务。
训练作业进程被kill 问题现象 用户进程被Kill表示用户进程因外部因素被Kill或者中断，表现为日志中断。 原因分析 CPU软锁 在解压大量文件可能会出现此情况并造成节点重启。可以适当在解压大量文件时，加入sleep。比如每解压1w个文件，就停止1s。 存储限制 根据规格情况
呢？ TensorFlow框架分布式训练的情况下，会启动ps与worker任务组，worker任务组为关键任务组，会以worker任务组的进程退出码，判断训练作业是否结束。 通过task name判断的哪个节点是worker。下发的训练作业是一个volcano job，里边会有两
订阅的模型一直处于等待同步状态 问题现象 订阅的模型一直处于等待同步状态。 原因分析 订阅的模型一直处于等待同步状态，可能原因如下： 由于ModelArts的数据存储、模型导入以及部署上线等功能依赖OBS、SWR等服务，需获取依赖服务的授权后，才能正常使用ModelArts的相关功能。
资源池推理服务一直初始化中如何解决 问题现象 创建资源池时作业类型选择了推理服务，资源池创建成功后推理一直显示“环境初始化。 原因分析 专属池网段和推理微服务dispatcher网段冲突，导致专属池上的VPCEP终端节点无法创建，该region无法使用此网段创建包含推理服务的资源池。
创建训练作业时提示“对象目录大小/数量超过限制”，如何解决？ 训练环境中不同规格资源“/cache”目录的大小 训练作业的“/cache”目录是否安全？ 训练作业一直在等待中（排队）？ 创建训练作业时，超参目录为什么有的是/work有的是/ma-user？ 在ModelArts创建分布式训练时如何设置NCCL环境变量？
ModelArts上传数据集收费吗？ ModelArts标注完样本集后，如何保证退出后不再产生计费？ ModelArts自动学习所创建项目一直在扣费，如何停止计费？ 如果不再使用ModelArts，如何停止收费？ 训练作业如何收费？ 为什么项目删除完了，仍然还在计费？ 欠费后，ModelArts的资源是否会被删除？
“~/ascend/log/device-{device-id}/device-{pid}_{timestamp}.log” 其中，pid是HOST侧用户进程号。 样例： device-166_20220718191853764.log plog日志 HOST侧用户进程，在HOST侧产生的日志（例如:ACL /GE）。
ModelArts上传数据集收费吗？ ModelArts标注完样本集后，如何保证退出后不再产生计费？ ModelArts自动学习所创建项目一直在扣费，如何停止计费？ 训练作业如何收费？ 为什么项目删除完了，仍然还在计费？ 欠费后，ModelArts的资源是否会被删除？ 部署后的AI应用是如何收费的？
用户结束kernelgateway进程后报错Server Connection Error，如何恢复？ 问题现象 当kernelgateway进程被结束后，出现如下报错，以及选不到Kernel。 图1 报错Server Connection Error截图 图2 选不到Kernel
创建Notebook失败，查看事件显示JupyterProcessKilled。 图1 查看事件 原因分析 出现此故障是因为Jupyter进程被清理掉了，一般情况Notebook会自动重启的，如果没有自动重启，创建一直失败，请确认是否是自定义镜像的问题。 解决方案 排查是否是自定义镜像的问题。
日志出现ECC错误，导致训练作业失败 超过最大递归深度导致训练作业失败 使用预置算法训练时，训练失败，报“bndbox”错误 训练作业进程异常退出 训练作业进程被kill 父主题： 训练作业
使用SSH工具连接Notebook，服务器的进程被清理了，GPU使用率显示还是100% 原因是代码运行卡死导致被进程清理，GPU显存没有释放；或者代码运行过程中内存溢出导致程序被清理，需要释放下显存，清理GPU，然后重新启动。为了避免进程结束引起的代码未保存，建议您每隔一段时间保存下代码输出至OBS桶或者容器
mitId 关闭VS Code，重新从Notebook实例列表页面打开VS Code（注意：需要关闭本地vscode，不然可能会报多个安装进程正在运行中）。 父主题： VS Code连接开发环境失败故障处理
mitId 关闭VS Code，重新从Notebook实例列表页面打开VS Code（注意：需要关闭本地vscode，不然可能会报多个安装进程正在运行中）。 父主题： VS Code连接开发环境失败常见问题
ma-user:100 /var/lib/nginx && \ sed -i "s#/var/run/nginx.pid#/home/ma-user/nginx.pid#g" /etc/init.d/nginx ADD nginx /etc/nginx ADD run.sh /home/mind/
连接远端开发环境时，一直处于"ModelArts Remote Connect: Connecting to instance xxx..."超过10分钟以上，如何解决？ 问题现象 解决方法 单击“Canel”，并回到ModelArts控制台界面再次单击界面上的“VS Code接入”按钮。
INFO:root:Using OBS-Python-SDK-3.1.2 原因分析 Pytorch通过spawn模式创建了多个进程，每个进程会调用多进程方式使用Mox下载数据。此时子进程会不断销毁重建，Mox也就会不断的被导入，导致打印很多Mox的版本信息。 处理方法 为避免训练作业Pytorch
连接远端开发环境时，一直处于"Setting up SSH Host xxx: Copying VS Code Server to host with scp"超过10分钟以上，如何解决？ 问题现象 原因分析 通过查看日志发现本地vscode-scp-done.flag显示成功上传，但远端未接收到。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
