-
GPU裸金属服务器使用EulerOS内核误升级解决方案 - AI开发平台ModelArts
GPU裸金属服务器使用EulerOS内核误升级解决方案 问题现象 GP Vnt1裸金属服务器,操作系统为EulerOS 2.9(基于CentOS制作的Linux发行版),经常遇到服务器重启后,操作系统内核无故升级,导致系统上原安装的nvidia-driver等软件无法使用,只能卸载重新安装。
-
运行应用样例 - AI开发平台ModelArts
vscode/launch.json”中配置运行的图路径,这里默认运行的图为“pedestrian_image.toml”。 图1 配置工程名称 单击“Run>Run Without Debugging”或者使用快捷键Ctrl+F5运行程序。 图2 运行程序 查看运行结果 命令执行后,会
-
上传数据和算法至SFS(首次使用时需要) - AI开发平台ModelArts
/mnt/sfs_turbo/code/ -f -r 本案例中以obsutils方式上传文件,除此之外也可通过SCP方式上传文件,具体操作步骤可参考本地Linux主机使用SCP上传文件到Linux云服务器。 在SFS中将文件设置归属为ma-user。 chown -R ma-user:ma-group
-
GPU A系列裸金属服务器RoCE带宽不足问题解决方法 - AI开发平台ModelArts
conf至/etc/infiniband/中或nv_peer_mem不在/etc/init.d/中。 若找不到相关文件的问题,可以搜索相关文件在哪里,然后复制到指定目录,例如可执行如下命令: cp /tmp/nvidia-peer-memory-1.3/nv_peer_mem.conf /etc/infiniband/
-
上传本地超大文件(5GB以上)至JupyterLab - AI开发平台ModelArts
zip压缩包所在路径直接解压 代码执行完成后,参考图3打开Terminal后执行ls /home/ma-user/work命令查看下载到Notebook中的文件。或者在Jupyter左侧导航中显示下载的文件,如果没有显示,请刷新后查看,如图4所示。 图3 打开Terminal 图4 查看下载到Notebook中的文件
-
数据标注 - AI开发平台ModelArts
为选中图片增加标签。 修改标签:在“选中文件标签”区域中,单击操作列的编辑图标,然后在文本框中输入正确的标签名,然后单击图标完成修改。 图5 编辑标签 删除标签:在“选中文件标签”区域中,单击操作列的删除该标签。 基于标签修改 在数据标注页面,单击“已标注”页签,在图片列表右侧,显示全部标签的信息。
-
创建图像分类自动学习项目并完成图片标注,训练按钮显示灰色,无法开始训练? - AI开发平台ModelArts
创建图像分类自动学习项目并完成图片标注,训练按钮显示灰色,无法开始训练? 图像分类项目,图片标注至少需要两个类别,且每个类别至少5张图片,才可以开始自动训练。 父主题: 模型训练
-
创建标注作业 - AI开发平台ModelArts
标注作业创建完成后,系统自动跳转至数据标注管理页面,针对创建好的标注作业,您可以执行智能标注、发布、修改和删除等操作。 图片(图像分类、物体检测、图像分割) 图3 图像分类和物体检测类型的参数 表1 图片类型标注作业的详细参数 参数名称 说明 数据集名称 选择支持当前标注类型的数据集。 添加标签集 设
-
GP Ant8裸金属服务器Ubuntu 20.04安装NVIDIA 525+CUDA 12.0 - AI开发平台ModelArts
--add-kernel-support 设置环境变量。 MPI路径版本需要匹配,可以通过“ls /usr/mpi/gcc/”查看openmpi的具体版本。 # 加入到~/.bashrc export LD_LIBRARY_PATH=/usr/local/cuda/lib:usr/local/cuda/li
-
示例:从0到1制作自定义镜像并用于训练(PyTorch+CPU/GPU) - AI开发平台ModelArts
1-cuda11.1 Step5 上传镜像至SWR服务 登录容器镜像服务控制台,选择区域,要和ModelArts区域保持一致,否则无法选择到镜像。 单击右上角“创建组织”,输入组织名称完成组织创建。请自定义组织名称,本示例使用“deep-learning”,下面的命令中涉及到组织名称“deep-
-
图片大Shape性能劣化严重怎么办? - AI开发平台ModelArts
图片大Shape性能劣化严重怎么办? 在昇腾设备上,可能由于GPU内存墙导致在大shape下遇到性能问题,MindSporeLite提供了Flash Attention编译优化机制,可以考虑升级最新版本的MidnSporeLite Convertor来进行编译期的算子优化,在大Shape场景下会有明显的改善。
-
上传算法至SFS - AI开发平台ModelArts
在代码主目录下创建一个run.sh,内容如下 #!/bin/bash # 从obs中下载数据到本地SSD盘 DIS_DATA_PATH=/cache SRC_DATA_PATH=${imagenet数据集在obs中分享链接} OBSUTIL_PATH=https://${bucket_name}
-
数据标注 - AI开发平台ModelArts
中的图片数据。 图3 添加本地图片 图4 同步OBS图片数据 添加数据:您可以将本地图片快速添加到ModelArts,同时自动上传至创建项目时所选择的OBS路径中。单击“添加数据”,根据弹出的对话框的引导,输入正确的数据并添加。 同步新数据:将图片数据上传至创建项目时指定的OBS
-
示例:从0到1制作自定义镜像并用于训练(PyTorch+CPU/GPU) - AI开发平台ModelArts
1-cuda11.1 Step5 上传镜像至SWR服务 登录容器镜像服务控制台,选择区域,要和ModelArts区域保持一致,否则无法选择到镜像。 单击右上角“创建组织”,输入组织名称完成组织创建。请自定义组织名称,本示例使用“deep-learning”,下面的命令中涉及到组织名称“deep-
-
示例:从0到1制作自定义镜像并用于训练(Tensorflow+GPU) - AI开发平台ModelArts
0-ofed-cuda11.2 Step6 上传镜像至SWR服务 登录容器镜像服务控制台,选择区域,要和ModelArts区域保持一致,否则无法选择到镜像。 单击右上角“创建组织”,输入组织名称完成组织创建。请自定义组织名称,本示例使用“deep-learning”,下面的命令中涉及到组织名称“deep-
-
数据标注 - AI开发平台ModelArts
和标签数量。 同步或添加图片 在“自动学习”页面,单击项目名称,进入“自动学习 > 数据标注”页面。项目创建时,数据标注的图片来源有两种,通过本地添加图片和同步OBS中的图片数据。 图2 添加本地图片 图3 同步OBS图片数据 添加图片:您可以将本地图片快速添加到ModelArt
-
示例:从0到1制作自定义镜像并用于训练(Horovod-PyTorch+GPU) - AI开发平台ModelArts
1-ofed-cuda11.1 Step5 上传镜像至SWR服务 登录容器镜像服务控制台,选择区域,要和ModelArts区域保持一致,否则无法选择到镜像。 单击右上角“创建组织”,输入组织名称完成组织创建。请自定义组织名称,本示例使用“deep-learning”,下面的命令中涉及到组织名称“deep-
-
物体检测或图像分类项目支持对哪些格式的图片进行标注和训练? - AI开发平台ModelArts
物体检测或图像分类项目支持对哪些格式的图片进行标注和训练? 图片格式支持JPG、JPEG、PNG、BMP。 父主题: 准备数据
-
示例:从0到1制作自定义镜像并用于训练(Tensorflow+GPU) - AI开发平台ModelArts
0-ofed-cuda11.2 Step6 上传镜像至SWR服务 登录容器镜像服务控制台,选择区域,要和ModelArts区域保持一致,否则无法选择到镜像。 单击右上角“创建组织”,输入组织名称完成组织创建。请自定义组织名称,本示例使用“deep-learning”,下面的命令中涉及到组织名称“deep-
-
示例:从0到1制作自定义镜像并用于训练(Horovod-PyTorch+GPU) - AI开发平台ModelArts
1-ofed-cuda11.1 Step5 上传镜像至SWR服务 登录容器镜像服务控制台,选择区域,要和ModelArts区域保持一致,否则无法选择到镜像。 单击右上角“创建组织”,输入组织名称完成组织创建。请自定义组织名称,本示例使用“deep-learning”,下面的命令中涉及到组织名称“deep-