检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该报错信息表示验证集中有label在训练集中不存在，可能由于在发布数据集版本进行数据切分时，训练集比例填写为0导致发布的数据全部为验证集，所以出现上述报错。 处理方法 重新发布数据，切分比例为0.8 或者0.9重新创建训练作业进行训练。 父主题： 训练作业运行失败
使用ModelArts平台训练算法训练耗时增加。 原因分析 可能存在如下原因： 平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析，确认是否对训练代码和参数进行过修改。 检查资源分配情况（cpu/mem/gpu/snt9/infiniband）是否符合预期。
Code背景配置为豆沙绿 VS Code中设置远端默认安装的插件 VS Code中把本地的指定插件安装到远端或把远端插件安装到本地 Notebook如何离线安装VS Code Server 父主题： Standard Notebook
使用了哪个huggingface的模型 （例如digiplay/majicMIX_realistic_v6）。 如果有预处理，后处理，对应的模型是什么（例如后处理的超分模型）。 - Lora/TextInversion 是否有动态加载Lora的需求，可否接受把Lora固定到模型内。
问题现象 创建训练作业界面没有云存储名称和挂载路径这两个选项。 原因分析 用户的专属资源池没有进行网络打通，或者用户没有创建过SFS。 处理方法 在专属资源池列表中，单击资源池“ID/名称”，进入详情页。单击右上角“配置NAS VPC”，检查是否开启了NAS VPC。详情页面的“NAS
项”、“到期不续费项”页签查询全部待续费资源，对资源进行手动续费的操作。 所有需手动续费的资源都可归置到“手动续费项”页签，具体操作请参见如何恢复为手动续费。 手动续费资源。 单个续费：在资源页面找到需要续费的资源，单击操作列的“续费”。 图1 单个续费 批量续费：在资源页面勾选
优雅退出容器可能会导致在滚动升级的过程中业务概率中断。要保证容器优雅退出，从收到SIGTERM信号开始，业务需要将收到的请求全部处理完毕再结束，这个处理时长最多不超过90秒。例如run.sh如下所示： #!/bin/bash gunicorn_pid="" handle_sigterm()
object key failed: 'Contents' 图1 获取内容失败 原因分析 在创建训练作业时指定的代码目录不存在导致训练失败。 处理方法 请您根据报错原因排查创建训练作业时指定的代码目录，即OBS桶的路径是否正确。有两种方法判断是否存在。 使用当前账户登录OBS管理控制
容器中。 OSError:[Errno 28] No space left on device 原因分析 数据下载至容器的位置空间不足。 处理方法 请排查是否将数据下载至“/cache”目录下，GPU规格资源的每个节点会有一个“/cache”目录，空间大小为4TB。并确认该目录下
ModelArts部署使用的是容器化部署，容器运行时有空间大小限制，当用户的模型文件或者其他自定义文件，系统文件超过Docker size大小时，会提示镜像内空间不足。 处理方法 公共资源池容器Docker size的大小最大支持50G，专属资源池Docker size的大小最大支持50G。 如果使用的是OBS
exist. 原因分析 出现该问题的可能原因如下： 桶中的对象不存在，请检查OBS路径中的内容是否存在。具体错误码请参见OBS官方文档。 处理方法 检查OBS路径及内容格式是否正常。 必现的问题，使用本地Pycharm远程连接Notebook调试。 建议与总结 在创建训练作业前，
nanosecond timestamp: 1-01-02 13:20:00 原因分析 出现该问题的可能原因如下： 时间值越界，请参考官方文档。 处理方法 校验时间数据，pandas以纳秒表示时间戳。 最小时间：1677-09-22 00:12:43.145225 最大时间：2262-04-11
未能完成构建任务，构建超时中断，即会出现“Model image build task timed out”提示，不显示详细的构建日志。 处理方法 预先准备需要编译下载的依赖包，减少依赖包下载和编译的时间。可通过线下wheel包方式安装运行环境依赖。线下wheel包安装，需确保wheel包与模型文件放在同一目录。
Shell界面时，可能会出现路径显示异常情况，此时在Cloud Shell中单击回车键即可恢复正常。 图3 路径异常 如何使训练作业保持运行中状态 由于需要训练作业处于“运行中”状态才能登录Cloud Shell，因此本文介绍如何使训练作业保持运行中状态，方便您快速通过Cloud Shell登录运行中的训练容器。
be int, float or bool 原因分析 出现该问题的可能原因如下： 训练数据中出现了非int、float、bool类型数据。 处理方法 可参考如下代码，将错误列进行转换： from sklearn import preprocessing lbl = preprocessing
用户项目ID，获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 category 否 String 规格处理器类型。 CPU GPU ASCEND limit 否 Integer 每一页的数量，默认不限制。 offset 否 Integer 分页记录的起始位置偏移量，默认值0。
当训练数据可以直接使用，无需二次处理时，可以直接将数据上传至OBS桶。在创建训练作业时，训练的输入参数位置可以直接填写OBS桶路径。 当训练数据集的数据未标注或者需要进一步的数据预处理，可以先将数据导入ModelArts数据管理模块进行数据预处理。在创建训练作业时，训练的输入参数位置可以选择数据管理模块的数据集。
图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服务，您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域？ 选择区域时，您需要考虑以下几个因素： 地理位置 一般情况下，建议就近选择靠近您或者您的目标用户的区域，这样可以减少网络时延，提高访问速度。
表示流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 512 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。
表示流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 512 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
