检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志提示“ '(slice(0, 13184, None), slice(None, None, None))' is an invalid key” 问题现象 训练过程中出现如下报错: TypeError: '(slice(0, 13184, None), slice(None,
创建训练作业时出现“实例挂卷失败”的事件 问题现象 训练作业的状态一直在“创建中”,查看训练作业的“事件”,有异常信息“实例挂卷失败”,详情为“Unable to mount volumes for pod xxx ... list of unmounted volumes=[nfs-x
表2 Query参数 参数 是否必选 参数类型 描述 continue 否 String 分页查询时上一页位置。 labelSelector 否 String 标签筛选。 limit 否 Integer 分页数目。
日志提示“max_pool2d_with_indices_out_cuda_frame failed with error code 0” 问题现象 pytroch1.3镜像中,去升级了pytroch1.4的版本,导致之前在pytroch1.3跑通的代码报错如下: “RuntimeError
# 可选,如果选择使用humaneval数据集 pip install huggingface-hub==0.25.1 (可选)如果需要在humaneval数据集上评估模型代码能力,请执行此步骤,否则忽略这一步。
模型资产上架 登录AI Gallery,选择右上角“我的Gallery”。 在左侧“我的资产 > 模型”下,选择未发布的模型,单击模型名称,进入模型详情页。 在模型详情页,单击右侧“发布”,在发布模型页面编辑发布信息后,单击“发布”。
所以理论上,出现该错误日志, 并不会造成数据丢失, 只是SFS客户端I/O速度变慢或卡顿,但最终会争取处理。 处理方法 结合当前购买的SFS盘性能规划业务, 建议不要运行到性能上限。 可以购买多个SFS Turbo实例分担业务压力, 或者更换高性能的SFS盘。
Lite Server资源配置流程 在开通Lite Server资源后,需要完成相关配置才能使用,配置流程如下图所示。 图1 Lite Server资源配置流程图 表1 Server资源配置流程 配置顺序 配置任务 场景说明 1 配置Lite Server网络 Server资源开通后
日志提示“Out of bounds nanosecond timestamp” 问题现象 在使用pandas.to_datetime转换时间时,出现如下报错: pandas._libs.tslibs.np_datetime.OutOfBoundsDatetime: Out of
从本地VSCode连接云上的Notebook实例、提交训练作业等。 按需配置。
由于欧拉源上没有git-lfs包,所以需要从压缩包中解压使用,在浏览器中输入如下地址下载git-lfs压缩包并上传到服务器的/home目录。
A050933 节点管理 容错Failover 当节点具有该污点时,会将节点上容错(Failover)业务迁移走。 当节点标记该污点时,会将节点上容错(Failover)业务迁移走。 A050931 训练toolkit 预检容器 训练预检容器检测到GPU错误。
准备代码 本教程中用到的模型软件包如下表所示,请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.912-xxx.zip 说明: 软件包名称中的
配置Standard专属资源池可访问公网 场景介绍 当您使用专属资源池创建作业时(如训练作业),如果需要作业运行过程中需要专属资源池访问外网,可打通VPC的方式,使得专属资源池和已绑定EIP的弹性云服务器处于同一VPC内,实现专属资源池访问外网。 前提条件 已拥有需要部署SNAT的弹性云服务器
日志提示“CUDNN_STATUS_NOT_SUPPORTED. ” 问题现象 在pytorch训练时,出现如下报错: RuntimeError: cuDNN error: CUDNN_STATUS_NOT_SUPPORTED. This error may appear if you
数据集资产上架 登录AI Gallery,选择右上角“我的Gallery”。 在“我的资产 > 数据集”下,选择未发布的数据集,单击数据集名称,进入数据集详情页。 在数据集详情页,单击右侧“发布”,在发布数据集页面编辑发布信息后,单击“发布”。
下文以Dit模型为例,介绍如何在昇腾设备上如何进行模型迁移,精度及性能调优。 环境准备 迁移环境准备有以下两种方式: 表1 迁移环境准备方式 方式 说明 ModelArts Notebook 该环境为在线调试环境,主要面向演示、体验和快速原型调试场景。
图2 ResNet50模型迁移到Ascend上进行推理 Stable Diffusion模型迁移到Ascend上进行推理:介绍如何将Stable Diffusion模型通过MSLite进行转换后,迁移在昇腾设备上运行。
图1 部分运行 保存上一步的配置后,单击“启动”按钮即可启动部分运行场景。 父主题: 管理Workflow
训练作业访问OBS时,日志提示“stat:403 reason:Forbidden” 问题现象 训练作业访问OBS时,出现如下报错: ERROR:root:Failed to call: func= <bound method ObsClient.getObjectMetadata