-
调用transformers出现ImportError: Using the `Trainer` with `PyTorch` requires `accelerate`: Run `pip install --upgrade accelerate` - AI开发平台ModelArts
调用transformers出现ImportError: Using the `Trainer` with `PyTorch` requires `accelerate`: Run `pip install --upgrade accelerate` 问题现象 调用transformers出现ImportError:
-
华为云CCE集群纳管GPU裸金属服务器由于CloudInit导致纳管失败的解决方案 - AI开发平台ModelArts
华为云CCE集群纳管GPU裸金属服务器由于CloudInit导致纳管失败的解决方案 问题现象 创建出3台GPU裸金属服务器,使用A节点制作镜像,用于在CCE纳管裸金属服务器时,使用该镜像,但是纳管后发现服务器A纳管失败,剩下两台服务器纳管成功。 原因分析 在CCE纳管过程中,需要通过cloudinit
-
裸金属服务器Euler OS升级NetworkManager-config-server导致SSH链接故障解决方案 - AI开发平台ModelArts
裸金属服务器Euler OS升级NetworkManager-config-server导致SSH链接故障解决方案 问题现象 裸金属服务器EulerOS 2.8系统下,使用yum update -y命令,导致软件NetworkManagre-config-server升级到高版本,出现SSH链接故障无法访问。
-
GP Vnt1裸金属本地磁盘合并挂载至指定目录并设置开机启动自动挂载 - AI开发平台ModelArts
GP Vnt1裸金属本地磁盘合并挂载至指定目录并设置开机启动自动挂载 场景描述 本文介绍如何将Vnt1裸金属服务器本地磁盘合并挂载至指定目录并设置开机启动自动挂载。 操作步骤 磁盘合并挂载。首次配置环境时,需要先处理磁盘分配。这一步操作建议放在最开始,避免使用一段时间再挂载容易冲掉用户已存储的内容。
-
在Lite资源池上使用ranktable路由规划完成Pytorch NPU分布式训练 - AI开发平台ModelArts
在Lite资源池上使用ranktable路由规划完成Pytorch NPU分布式训练 场景描述 ranktable路由规划是一种用于分布式并行训练中的通信优化能力,在使用NPU的场景下,支持对节点之间的通信路径根据交换机实际topo做网络路由亲和规划,进而提升节点之间的通信速度。
-
在lite资源池上使用Snt9B完成分布式训练任务 - AI开发平台ModelArts
在lite资源池上使用Snt9B完成分布式训练任务 场景描述 本案例介绍如何在Snt9B上进行分布式训练任务。lite资源池已经默认安装volcano调度器,训练任务默认使用volcano job形式下发lite池集群。训练测试用例使用NLP的bert模型,详细代码和指导可参考Bert。
-
上传本地小文件(100MB以内)至JupyterLab - AI开发平台ModelArts
上传本地小文件(100MB以内)至JupyterLab 对于大小不超过100MB的文件直接上传,并展示文件大小、上传进度及速度等详细信息。 图1 上传100MB以下小文件 文件上传完成后给出提示。 图2 上传成功 父主题: 上传本地文件至JupyterLab
-
上传本地大文件(100MB~5GB)至JupyterLab - AI开发平台ModelArts
上传本地大文件(100MB~5GB)至JupyterLab 对于大小超过100MB不超过5GB的文件可以使用OBS中转,系统先将文件上传至OBS(对象桶或并行文件系统),然后从OBS下载到Notebook。下载完成后,ModelArts会将文件自动从OBS中删除。 例如,对于下面这种情况,可以通过“OBS中转”上传。
-
上传本地超大文件(5GB以上)至JupyterLab - AI开发平台ModelArts
上传本地超大文件(5GB以上)至JupyterLab 不支持在Notebook的JupyterLab中直接上传大小超过5GB的文件。 图1 不支持直接上传大小超过5GB的文件 5GB以上的文件需要先从本地上传到OBS中,再在Notebook中调用ModelArts的Moxing接口或者SDK接口读写OBS中的文件。
-
物理机环境配置 - AI开发平台ModelArts
物理机环境配置 步骤1:配置超时参数 SSH登录到机器后,查看机器配置的超时参数: echo $TMOUT 如果该值为300,则代表默认空闲等待5分钟后会断开连接,可以增大该参数延长空闲等待时间(若值已经为0可跳过该步骤)。修改方法如下: vim /etc/profile #
-
在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,VS Code打开后未进行远程连接 - AI开发平台ModelArts
在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,VS Code打开后未进行远程连接 若本地为Linux系统,见原因分析二。 原因分析一 自动安装VS Code插件ModelArts-HuaweiCloud失败。 解决方法一 方法一:检查VS Code网络是否正常。在VS
-
容器化个人调测环境搭建 - AI开发平台ModelArts
进入conda环境: source /home/ma-user/.bashrc cd ~ 查看容器中可以使用的卡信息: npu-smi info 如果命令报如下错误,则代表容器启动时指定的“ASCEND_VISIBLE_DEVICES”卡号已被其他容器占用,此时需要重新选择卡号并重新启动新的容器。
-
使用样例的有标签的数据或者自己通过其他方式打好标签的数据放到OBS桶里,在modelarts中同步数据源以后看不到已标注,全部显示为未标注 - AI开发平台ModelArts
使用样例的有标签的数据或者自己通过其他方式打好标签的数据放到OBS桶里,在modelarts中同步数据源以后看不到已标注,全部显示为未标注 OBS桶设置了自动加密会导致此问题,需要新建OBS桶重新上传数据,或者取消桶加密后,重新上传数据。 父主题: 数据管理(旧版)
-
Step4 上传镜像至SWR - AI开发平台ModelArts
Step4 上传镜像至SWR 本章节介绍如何将制作好的镜像上传至SWR服务,方便后续在ModelArts上创建训练作业时调用。 登录容器镜像服务控制台,选择区域,要和ModelArts区域保持一致,否则无法选择到镜像。 单击右上角“创建组织”,输入组织名称完成组织创建。请自定义组
-
GP Vnt1裸金属服务器的Docker模式环境搭建 - AI开发平台ModelArts
GP Vnt1裸金属服务器的Docker模式环境搭建 场景描述 本文指导如何在Vnt1裸金属服务器上安装Docker环境(服务器系统需为Ubuntu18.04或Ubuntu20.04)。 操作步骤 NVIDIA驱动安装。 wget https://us.download.nvidia
-
GPU A系列裸金属服务器更换NVIDIA和CUDA - AI开发平台ModelArts
GPU A系列裸金属服务器更换NVIDIA和CUDA 场景描述 当裸金属服务器预置的NVIDIA版本和业务需求不匹配时,需要更换NVIDIA驱动和CUDA版本。本文介绍华为云A系列GPU裸金属服务器(Ubuntu20.04系统)如何从“NVIDIA 525+CUDA 12.0”更换为“NVIDIA
-
镜像保存时报错“there are processes in 'D' status, please check process status using 'ps -aux' and kill all the 'D' status processes”或“Buildimge - AI开发平台ModelArts
镜像保存时报错“there are processes in 'D' status, please check process status using 'ps -aux' and kill all the 'D' status processes”或“Buildimge,False
-
Step6 在ModelArts上创建训练作业 - AI开发平台ModelArts
Step6 在ModelArts上创建训练作业 登录ModelArts管理控制台,在左侧导航栏中选择“训练管理 > 训练作业”,默认进入“训练作业”列表。 在“创建训练作业”页面,填写相关参数信息,然后单击“提交”。 创建方式:选择“自定义算法” 启动方式:选择“自定义” 镜像地址:“swr
-
Step1 创建OBS桶和文件夹 - AI开发平台ModelArts
Step1 创建OBS桶和文件夹 前提条件 已注册华为账号并开通华为云,且在使用ModelArts前检查账号状态,账号不能处于欠费或冻结状态。 Step1 创建OBS桶和文件夹 在OBS服务中创建桶和文件夹,用于存放样例数据集以及训练代码。如下示例中,请创建命名为“test-mo
-
Step5 在ModelArts上创建Notebook并调试 - AI开发平台ModelArts
Step5 在ModelArts上创建Notebook并调试 将上传到SWR上的镜像注册到ModelArts的镜像管理中。 登录ModelArts管理控制台,在左侧导航栏中选择“镜像管理 ”,单击“注册镜像”,根据界面提示注册镜像。注册后的镜像可以用于创建Notebook。 在N