-
场景介绍 - AI开发平台ModelArts
场景介绍 本文以ChatGLM-6B为例,介绍如何将模型迁移至昇腾设备上训练、模型精度对齐以及性能调优。 主要包含以下步骤: 环境准备 迁移适配 精度对齐 性能调优 父主题: LLM训练业务昇腾迁移指导
-
模型适配 - AI开发平台ModelArts
Lite进行离线推理时,需要先将模型转换为mindir模型,再利用MindSpore Lite作为推理引擎,将转换后的模型直接运行在昇腾设备上。模型转换需要使用converter_lite工具。 huggingface提供的onnx模型文件的输入是动态shape,而mindir
-
查看训练容器环境变量 - AI开发平台ModelArts
“S3_ENDPOINT=https://obs.region.myhuaweicloud.com” S3_VERIFY_SSL 访问OBS是否使用SSL。 “S3_VERIFY_SSL=0” S3_USE_HTTPS 访问OBS是否使用HTTPS。 “S3_USE_HTTPS=1” 表5 PIP源和API网关地址环境变量
-
在Lite资源池上使用ranktable路由规划完成Pytorch NPU分布式训练 - AI开发平台ModelArts
是,则执行2。 否,则在高级配置的“plugins”参数下添加“{"name":"cabinet"}”,单击下方的“安装”使Volcano调度器更新配置,完成滚动重启。 修改torch_npu训练启动脚本。 脚本要使用torch.distributed.launch/run命令启动,不能使用mp
-
SD1.5基于DevServer适配PyTorch NPU的Finetune训练指导(6.3.T041) - AI开发平台ModelArts
grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装NPU设备和驱动,或释放被挂载的NPU。 检查是否安装docker。 docker -v #检查docker是否安装
-
昇腾迁移快速入门案例 - AI开发平台ModelArts
克隆ModelArts Ascend代码库。 新建Terminal,执行下述命令将对应的repo克隆到Notebook实例。 git clone https://gitee.com/ModelArts/modelarts-ascend.git 图5 下载示例代码 昇腾迁移案例在“~/work
-
图片大Shape性能劣化严重怎么办? - AI开发平台ModelArts
图片大Shape性能劣化严重怎么办? 在昇腾设备上,可能由于GPU内存墙导致在大shape下遇到性能问题,MindSporeLite提供了Flash Attention编译优化机制,可以考虑升级最新版本的MidnSporeLite Convertor来进行编译期的算子优化,在大Shape场景下会有明显的改善。
-
查询开发环境实例详情 - AI开发平台ModelArts
1所示。 workspace Object 工作空间,如表16所示。 latest_update_timestamp String 实例的更新时间。 flavor_details Object 机器规格详情,如表7所示。 pool Object 专属资源池,如表8所示。 ai_project
-
Ascend场景日志说明 - AI开发平台ModelArts
在训练启动文件被执行前,系统会在 /home/work/user-job-dir/ 目录下执行上述ma-pre-start脚本,使用该机制可以更新容器镜像内安装的Ascend RUN包,或者设置一些训练运行时额外需要的全局环境变量。 父主题: 查看训练作业日志
-
ModelArts资源池管理功能全面升级 - AI开发平台ModelArts
若专属资源池的规格与您的业务不符,可通过扩缩容资源池来调整专属资源池的规格。 专属资源池提供了动态设置作业类型的功能,可参考修改资源池作业类型更新作业类型。 ModelArts提供了自助升级专属资源池GPU/Ascend驱动的能力,可参考资源池驱动升级进行升级。 当不再需要使用专属资
-
给子用户配置开发环境基本使用权限 - AI开发平台ModelArts
modelarts:network:get aom:metric:get aom:metric:list aom:alarm:list 实例的启动、停止、创建、删除、更新等依赖的权限。 建议配置。 仅在严格授权模式开启后,需要显式配置左侧权限。 动态挂载存储配置 ModelArts modelarts:no
-
ModelArts SDK、OBS SDK和MoXing的区别? - AI开发平台ModelArts
indSpore等)下均可以使用。 MoXing Framework模块提供了OBS中常见的数据文件操作,如读写、列举、创建文件夹、查询、移动、拷贝、删除等。 在ModelArts Notebook中使用MoXing接口时,可直接调用接口,无需下载或安装SDK,使用限制比ModelArts
-
发布数据 - AI开发平台ModelArts
查看修改结果。 图3 修改封面图和二级标题 编辑许可证类型 在发布的资产详情页面,单击右侧的“编辑”。 在许可证类型右侧的下拉框中选择需要更新的许可证,单击“保存”完成修改。 单击许可证类型后面的感叹号可以了解许可证详情。 编辑标签 单击标签右侧的出现标签编辑框。 在下拉框中勾选
-
基于MindSpore Lite的模型转换 - AI开发平台ModelArts
主要通过MindSpore Lite(简称MSLite)进行模型的转换,进一步通过MindSpore Runtime支持昇腾后端的能力来将推理业务运行到昇腾设备上。 模型准备 MindSpore Lite提供的模型convertor工具可以支持主流的模型格式到MindIR的格式转换,用户需要导出对应的模型文件,推荐导出为ONNX格式。
-
模型部署 - AI开发平台ModelArts
同厂商的摄像机上,这是一项非常耗时、费力的巨大工程,ModelArts支持将训练好的模型一键部署到端、边、云的各种设备上和各种场景上,并且还为个人开发者、企业和设备生产厂商提供了一整套安全可靠的一站式部署方式。 图1 部署模型的流程 在线推理服务,可以实现高并发,低延时,弹性伸缩,并且支持多模型灰度发布、A/B测试。
-
安装VS Code软件及插件 - AI开发平台ModelArts
下载并安装VS Code。 Windows用户直接单击此处下载:https://update.code.visualstudio.com/1.57.1/win32-x64-user/stable。 其他系统用户的下载地址: https://code.visualstudio.com/updates/v1_57。
-
查询数据集的版本列表 - AI开发平台ModelArts
train_evaluate_sample_ratio String 发布版本时切分训练验证比例,默认为1.00,即全部分为训练集。 update_time Long 版本更新时间。 version_format String 数据集版本格式。可选值如下: Default:默认格式 CarbonData:Carbon格式(仅表格数据集支持)
-
在Notebook上安装配置Grafana - AI开发平台ModelArts
na。 mkdir -p /home/ma-user/work/grf cd /home/ma-user/work/grf wget https://dl.grafana.com/oss/release/grafana-9.1.6.linux-amd64.tar.gz tar -zxvf
-
VS Code连接开发环境时报错Missing GLIBC,Missing required dependencies - AI开发平台ModelArts
27.so Error: Missing required dependencies. Please refer to our FAQ https://aka.ms/vscode-remote/faq/old-linux for additional information. 原因分析
-
上传算法至SFS - AI开发平台ModelArts
上传算法至SFS 下载Swin-Transformer代码。 git clone --recursive https://github.com/microsoft/Swin-Transformer.git 修改lr_scheduler.py文件,把第27行:t_mul=1. 注释掉。