检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志提示“CUDNN_STATUS_NOT_SUPPORTED. ” 问题现象 在pytorch训练时，出现如下报错： RuntimeError: cuDNN error: CUDNN_STATUS_NOT_SUPPORTED. This error may appear if you
文档导读 本文档指导您如何安装和配置开发环境、如何通过调用ModelArts SDK提供的接口函数进行二次开发。 章节 内容 SDK简介 简要介绍ModelArts SDK的概念。 快速开始 介绍如何使用ModelArts SDK进行二次开发。 （可选）本地服务器安装ModelArts
日志提示“Unexpected keyword argument passed to optimizer” 问题现象 在使用keras时，升级版本>=2.3.0之后，之前跑通的代码出现如下报错： TypeError: Unexpected keyword argument passed
使用前必读 在调用ModelArts API之前，请确保已经充分了解ModelArts相关概念，详细信息请参见产品介绍。 ModelArts提供了REST（Representational State Transfer）风格API，支持您通过HTTPS请求调用，调用方法请参见如何调用
日志提示“pandas.errors.ParserError: Error tokenizing data. C error: Expected .* fields” 问题现象 使用pandas读取csv数据表时，日志报出如下错误导致训练作业失败： pandas.errors.ParserError
图2 添加指标 关于更多指标浏览方法请参考华为云帮助中心“应用运维管理 AOM> 用户指南（2.0）> 指标浏览”。
日志提示“ Network is unreachable” 问题现象 在使用pytorch时，将torchvision.models中的pretrained置为了True，日志中出现如下报错： ‘OSError: [Errno 101] Network is unreachable
创建训练作业时出现“实例挂卷失败”的事件 问题现象 训练作业的状态一直在“创建中”，查看训练作业的“事件”，有异常信息“实例挂卷失败”，详情为“Unable to mount volumes for pod xxx ... list of unmounted volumes=[nfs-x
使用VS Code创建并调试训练作业 由于AI开发者会使用VS Code工具开发算法或模型，为方便快速将本地代码提交到ModelArts的训练环境、贴近本地开发习惯地编写启动命令，ModelArts提供了一个训练作业场景下的IDE插件ModelArts-HuaweiCloud，用户通过简易的操作
准备代码 本教程中用到的模型软件包如下表所示，请提前准备好。 获取配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-3rdLLM-6.3.905-xxx.zip 说明： 软件包名称中的xxx
准备代码 本教程中用到的模型软件包如下表所示，请提前准备好。 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.906-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
日志提示“RuntimeError: connect() timed out” 问题现象 使用pytorch进行分布式训练时，日志中出现报错“RuntimeError: connect() timed out”。 原因分析 出现该问题的可能原因如下： 如果在此之前是有进行数据复制的
日志提示“cuda runtime error (10) : invalid device ordinal at xxx” 问题现象 训练作业失败，日志报出如下错误： RuntimeError: cuda runtime error (10) : invalid device ordinal
训练作业访问OBS时，日志提示“stat:403 reason:Forbidden” 问题现象 训练作业访问OBS时，出现如下报错： ERROR:root:Failed to call: func= <bound method ObsClient.getObjectMetadata
日志提示"No CUDA-capable device is detected" 问题现象 在程序运行过程中，出现如下类似错误。 1.‘failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected
日志提示“RuntimeError: Cannot re-initialize CUDA in forked subprocess” 问题现象 在使用pytorch启动多进程的时候，出现如下报错： RuntimeError: Cannot re-initialize CUDA in
训练作业失败，返回错误码139 问题现象 训练作业运行失败，返回错误码139，如下图所示： [Modelarts Service Log]Training end with reeturn code: 139 INFO:root:Using MoXing-v1.17.2-c806a92f
OOM导致训练作业失败 问题现象 因为OOM导致的训练作业失败，会有如下几种现象。 错误码返回137，如下图所示。 Modelarts Service Log Trainina end with return code: 137 Modelarts Service Log]handle
产品优势 ModelArts服务具有以下产品优势。 稳定安全的算力底座，极快至简的模型训练 支持万节点计算集群管理 大规模分布式训练能力，加速大模型研发 提供高性价比国产算力 多年软硬件经验沉淀，AI场景极致优化 加速套件，训练、推理、数据访问多维度加速 一站式端到端生产工具链，一致性开发体验
日志提示“No space left on device” 问题现象 训练过程中复制数据/代码/模型时出现如下报错： 图1 错误日志 原因分析 出现该问题的可能原因如下。 磁盘空间不足。 分布式作业时，有些节点的docker base size配置未生效，容器内“/”根目录空间未达到
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
