-
上传镜像 - AI开发平台ModelArts
上传镜像 请参考上传镜像。 父主题: 单机多卡
-
从OBS下载文件 - AI开发平台ModelArts
从OBS下载文件 示例代码 在ModelArts Notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参考Session鉴权。 1 2 3 from modelarts.session import Session session = Session()
-
上传数据和算法至SFS(首次使用时需要) - AI开发平台ModelArts
ECS服务器已挂载SFS,请参考ECS服务器挂载SFS Turbo存储。 已经创建好,请参考在ECS中创建ma-user和ma-group。 已经安装obsutil,请参考下载和安装obsutil。 准备数据类似 登录coco数据集下载官网地址:https://cocodataset.org/#download
-
deepspeed多卡训练报错TypeError: deepspeed - AI开发平台ModelArts
deepspeed多卡训练报错TypeError: deepspeed_init() got an unexpected keyword argument 'resume_from_checkpoint' 问题现象 deepspeed多卡训练报错TypeError: deepspeed_init()
-
安装包完整性校验 - AI开发平台ModelArts
安装包完整性校验 下载ModelArts SDK安装包和Workflow SDK安装包时,建议您同时下载校验文件,校验安装包的完整性,避免由于安装包下载问题导致后续的业务问题。 依次完成下载ModelArts SDK安装包、校验文件和Workflow SDK安装包、校验文件。 单击链接下载ModelArts
-
上传镜像 - AI开发平台ModelArts
上传镜像 请参考上传镜像。 父主题: 多机多卡
-
如何安装第三方包,安装报错的处理方法 - AI开发平台ModelArts
如何安装第三方包,安装报错的处理方法 问题现象 ModelArts如何安装自定义库函数,例如“apex”。 ModelArts训练环境安装第三方包时出现如下报错: xxx.whl is not a supported wheel on this platform 原因分析 由于安装的文件名格式不支持,导致出现“xxx
-
在Windows上安装配置Grafana - AI开发平台ModelArts
在Windows上安装配置Grafana 适用场景 本章节适用于Windows操作系统的PC。 操作步骤 下载Grafana安装包。 进入下载链接,单击Download the installer,等待下载成功即可。 安装Grafana。 双击安装包,按照指示流程安装完成即可。 在W
-
精度对齐 - AI开发平台ModelArts
精度对齐 精度问题是指模型从GPU设备迁移到昇腾NPU设备之后由于软硬件差异引入的精度问题。根据是否在单卡环境下,可分为单卡精度问题与多卡精度问题。多卡相对于单卡,会有卡与卡之间的通信,这可能也是精度偏差的一种来源。所以多卡的精度对齐问题相对于单卡会更复杂。不过针对多卡的精度问题,可以分
-
从EI云服务订阅模型(即将下线) - AI开发平台ModelArts
或者返回订阅列表页面。 部署AI应用 对于状态为“正常”的AI应用,可将AI应用部署为边缘服务。 在“订阅列表”页面,选择“正常”状态的AI应用,单击操作列的“部署”。 在部署页面,请按照界面提示规则填写边缘服务的“名称”和“描述”,同时,选择AI应用配置以及边缘节点。 表1 参数说明
-
安装开发环境 - AI开发平台ModelArts
安装开发环境 Notebook-JupyterLab 本地IDE连接Notebook 安装包完整性校验 父主题: 开发第一条Workflow
-
安装配置Grafana - AI开发平台ModelArts
安装配置Grafana 在Windows上安装配置Grafana 在Linux上安装配置Grafana 在Notebook上安装配置Grafana 父主题: 使用Grafana查看AOM中的监控指标
-
在Notebook上安装配置Grafana - AI开发平台ModelArts
打开Grafana页面。 新打开一个浏览器窗口,在地址栏输入3中配置的root_url后。出现Grafana登录页面即代表在Notebook中安装和配置Grafana成功。首次登录用户名和密码为admin,登录成功后请根据提示修改密码。 父主题: 安装配置Grafana
-
示例:从0到1制作自定义镜像并用于训练(Horovod-PyTorch+GPU) - AI开发平台ModelArts
此处介绍如何通过编写Dockerfile文件制作自定义镜像的操作步骤。 安装Docker。 以Linux x86_64架构的操作系统为例,获取Docker安装包。您可以使用以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。 curl -fsSL
-
从OBS下载文件夹 - AI开发平台ModelArts
从OBS下载文件夹 示例代码 在ModelArts Notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参考Session鉴权。 1 2 3 from modelarts.session import Session session = Session()
-
场景描述 - AI开发平台ModelArts
场景描述 本案例介绍如何从0到1制作Ascend容器镜像,并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是MindSpore,训练使用的资源是专属资源池的Ascend芯片。 约束限制 由于案例中需要下载商用版CANN,因此本案例仅面向有下载权限的渠道用户,非
-
从0-1制作自定义镜像并创建AI应用 - AI开发平台ModelArts
像,推荐使用ubuntu18.04的镜像。 图1 创建ECS服务器-选择X86架构的公共镜像 登录主机后,安装Docker,可参考Docker官方文档。也可执行以下命令安装docker。 curl -fsSL get.docker.com -o get-docker.sh sh get-docker
-
NFS服务安装与配置 - AI开发平台ModelArts
NFS服务安装与配置 NFS服务是ModelArts边缘资源池提供的数据存储卷服务,创建部署时可通过NFS挂载的方式访问共享数据,比如obs的模型文件。 涉及以下场景时,必须为资源池配置NFS服务: 创建AI应用时,元模型来源选择“从对象存储服务(OBS)中选择”,且AI引擎选择“Custom”。
-
Jupyter可以安装插件吗? - AI开发平台ModelArts
Jupyter可以安装插件吗? Jupyter可以安装插件。 目前jupyter插件多数采用wheel包的形式发布,一次性完成前后端插件的安装,安装时注意使用jupyter服务依赖的环境“/modelarts/authoring/notebook-conda/bin/pip”进行安装,不要使
-
从AI Gallery订阅的Workflow如何使用 - AI开发平台ModelArts
入”,进入该Workflow的详情页面。 图1 从AI Gallery导入工作流 单击右上角的“配置”后进入配置页面,根据您所订阅的工作流,配置Workflow需要的部分输入项和参数,参考表1,参数配置完成后,单击右上角的“保存配置”。 保存成功后,单击右上角的“启动”,启动Workflow。