检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源池推理服务一直初始化中如何解决 问题现象 创建资源池时作业类型选择了推理服务,资源池创建成功后推理一直显示“环境初始化。 原因分析 专属池网段和推理微服务dispatcher网段冲突,导致专属池上的VPCEP终端节点无法创建,该region无法使用此网段创建包含推理服务的资源池。
调用API创建训练作业,训练作业异常 问题现象 调用API接口创建训练作业(专属资源池为CPU规格),训练作业状态由“创建中”转变为“异常”,训练作业详情界面“规格信息”为“--”。 原因分析 调用接口传入了CPU规格的专属资源池不支持的参数。 处理步骤 检查API请求的请求体中
创建训练作业界面无云存储名称和挂载路径排查思路 问题现象 创建训练作业界面没有云存储名称和挂载路径这两个选项。 原因分析 用户的专属资源池没有进行网络打通,或者用户没有创建过SFS。 处理方法 在专属资源池列表中,单击资源池“ID/名称”,进入详情页。单击右上角“配置NAS VPC”,检查是否开启了NAS
训练作业的监控内存指标持续升高直至作业失败 问题现象 训练作业的“状态”为“运行失败”。 原因分析 训练作业的监控内存指标持续升高,导致最后训练作业失败。 处理步骤 查询训练作业的日志和监控信息,是否存在明确的OOM报错信息。 是,训练作业的日志里存在OOM报错,执行2。 否,训
专属资源池关联SFS Turbo显示异常 问题现象1 专属资源池关联SFS Turbo时显示异常,关联失败。 图1 关联异常 图2 报错提示 问题现象2 网络操作解除关联SFS Turbo后状态仍显示已关联且无报错信息,而解除关联按钮置灰不可操作。同时该网络的解除关联SFS Turbo按钮置灰不可操作。
使用自定义镜像创建的训练作业一直处于运行中 问题现象 使用自定义镜像创建训练作业,训练作业的“状态”一直处于“运行中”。 原因分析及处理办法 日志打印如下内容,表示自定义镜像的CPU架构与资源池节点的CPU架构不一致。 standard_init_linux.go:215: exec
Cann软件与Ascend驱动版本不匹配 问题现象 训练失败并提示“Cann软件与Ascend驱动版本不匹配”。 原因分析 当昇腾规格的训练作业在ModelArts训练平台上运行时,会自动对Cann软件与Ascend驱动的版本匹配情况进行检查。如果平台发现版本不匹配,则会立即训练失败,避免后续无意义的运行时长。
出现ModelArts.6333错误,如何处理? 问题现象 在使用Notebook过程中,界面出现“ModelArts.6333”报错信息。 原因分析 可能由于实例过负载引起故障,Notebook正在自动恢复中,请刷新页面并等待几分钟。常见原因是内存占用满。 处理方法 当出现此错
发布本地AI应用到AI Gallery 场景描述 AI Gallery自定义AI应用能力为您提供了一个自由灵活的AI应用创建方式,您可以基于AI Gallery上提供的基础能力,发挥您的创造力,通过自定义代码的形式,自由地构建出您需要的AI应用形态。 准备AI应用运行文件“app
数据集版本不合格 出现此问题时,表示数据集版本发布成功,但是不满足自动学习训练作业要求,因此出现数据集版本不合格的错误提示。 标注信息不满足训练要求 针对不同类型的自动学习项目,训练作业对数据集的要求如下。 图像分类:用于训练的图片,至少有2种以上的分类(即2种以上的标签),每种分类的图片数不少于5张。
创建数据处理任务版本 功能介绍 创建数据处理任务版本。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/processor
数据准备与处理 数据准备使用流程 创建ModelArts数据集 导入数据到ModelArts数据集 处理ModelArts数据集中的数据 标注ModelArts数据集中的数据 发布ModelArts数据集中的数据版本 分析ModelArts数据集中的数据特征 导出ModelArts数据集中的数据
创建训练作业时出现“实例挂卷失败”的事件 问题现象 训练作业的状态一直在“创建中”,查看训练作业的“事件”,有异常信息“实例挂卷失败”,详情为“Unable to mount volumes for pod xxx ... list of unmounted volumes=[nfs-x]”。
查询数据处理任务的版本详情 功能介绍 查询数据处理任务的版本详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/proc
获取超参敏感度分析结果 功能介绍 获取超参敏感度分析结果的汇总表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/trai
训练作业训练失败报错:TypeError: unhashable type: ‘list’ 问题现象 使用订阅算法图像分类-EfficientNetB4进行训练报错:TypeError: unhashable type: ‘list’。 原因分析 可能由于使用了多标签分类导致(即一个图片用了1个以上的标签)。
训练网络迁移总结 确保算法在GPU训练时,持续稳定可收敛。避免在迁移过程中排查可能的算法问题,并且要有好的对比标杆。如果是NPU上全新开发的网络,请参考PyTorch迁移精度调优排查溢出和精度问题。 理解GPU和NPU的构造以及运行的差别,有助于在迁移过程中分析问题并发挥NPU的
GPU A系列裸金属服务器无法获取显卡如何解决 问题现象 在A系列裸金属服务器上使用PyTorch一段时间后,出现获取显卡失败的现象,报错如下: > torch.cuda.is_available() /usr/local/lib/python3.8/dist-packages/torch/cuda/__init__
日志提示“root: XXX valid number is 0” 问题现象 日志提示“root: XXX valid number is 0”,表示训练集/验证集/测试集的有效样本量为0,例如: INFO: root: Train valid number is 0. INFO:
重置节点后无法正常使用? 问题现象 当ModelArts Lite的CCE集群在资源池上只有一个节点,且用户设置了volcano为默认调度器时,在ModelArts侧进行重置节点的操作后,节点无法正常使用,节点上的POD会调度失败。 原因分析 在ModelArts侧进行节点重置后