检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Notebook中,如何使用昇腾多卡进行调试? 昇腾多卡训练任务是多进程多卡模式,跑几卡需要起几个python进程。昇腾底层会读取环境变量:RANK_TABLE_FILE,开发环境已经设置,用户无需关注。比如跑八卡,可以如下片段代码: export RANK_SIZE=8
0 到 1 制作自定义镜像并用于训练(MindSpore+Ascend) 使用ModelArts Standard一键完成商超商品识别模型部署 专属资源池训练
pter,ma-cli命令将不支持创建算法工程,无法在Notebook中基于已有算法工程进行资产(数据、模型权重、算法文件)安装、模型开发、训练和推理部署等任务。如您有任何问题,可随时通过工单或者服务热线(4000-955-988或950808)与我们联系。 父主题: 下线公告
ModelArts CLI命令参考 ModelArts CLI命令功能介绍 (可选)本地安装ma-cli ma-cli auto-completion自动补全命令 ma-cli configure鉴权命令 ma-cli image镜像构建支持的命令 ma-cli ma-job训练作业支持的命令
SDK、OBS SDK和MoXing的区别? ModelArts的API或SDK支持模型下载到本地吗? ModelArts的SDK支持哪些安装环境? ModelArts通过OBS的API访问OBS中的文件,算内网还是公网? 调用API提交训练作业后,能否绘制作业的资源占用率曲线?
PyCharm Toolkit使用 安装ToolKit工具时出现错误,如何处理? PyCharm ToolKit工具中Edit Credential时,出现错误 为什么无法启动训练? 提交训练作业时,出现xxx isn't existed in train_version错误 提交训练作业报错“Invalid
创建训练任务并成功运行, 但是发布到至AI Gallery时, 版本那块显示状态异常 使用python3.6-torch1.4版本镜像环境安装MMCV报错 父主题: 训练作业
准备声音分类数据 使用ModelArts自动学习构建模型时,您需要将数据上传至对象存储服务(OBS)中。OBS桶需要与ModelArts在同一区域。 声音分类的数据要求 音频只支持16bit的WAV格式。支持WAV的所有子格式。 单条音频时长应大于1s,大小不能超过4MB。 适当
附录:工作负载Pod异常问题和解决方法 Pod状态为Pending 当Pod状态长时间为“Pending”,事件中出现“实例调度失败”的信息时,可根据具体事件信息确定具体问题原因。 图1 pod状态pending 通过以下命令打印Pod日志信息。 kubectl describe
ModelArts提供了AI全流程开发的套餐包,面向有AI基础的开发者,提供机器学习和深度学习的算法开发及部署全功能,包含数据处理、模型开发、模型训练、模型管理和部署上线流程。 约束限制 套餐包在购买和使用时的限制如下: 套餐包和购买时选定的区域绑定,套餐包只能使用于购买时选
编写训练代码 训练模型时引用依赖包,如何创建训练作业? 训练作业常用文件路径是什么? 如何安装C++的依赖库? 训练作业中如何判断文件夹是否复制完毕? 如何在训练中加载部分训练好的参数? 训练作业的启动文件如何获取训练作业中的参数? 训练作业中使用os.system('cd xxx')无法进入相应的文件夹?
附录:工作负载Pod异常问题和解决方法 Pod状态为Pending 当Pod状态长时间为“Pending”,事件中出现“实例调度失败”的信息时,可根据具体事件信息确定具体问题原因。 图1 pod状态pending 通过以下命令打印Pod日志信息。 kubectl describe
训练过程中无法找到so文件 问题现象 ModelArts训练作业运行时,日志中遇到如下报错,导致训练失败: libcudart.so.9.0 cannot open shared object file no such file or directory 原因分析 编译生成s
但是,DLS服务仅提供深度学习技术,而ModelArts集成了深度学习和机器学习技术,同时ModelArts是一站式的AI开发平台,从数据标注、算法开发、模型训练及部署,管理全周期的AI流程。直白点解释,ModelArts包含并支持DLS中的功能特性。当前,DLS服务已从华为云下线,深度学习技术相关的功能
查询训练作业版本列表 功能介绍 根据作业ID查看指定的训练作业版本。 URI GET /v1/{project_id}/training-jobs/{job_id}/versions 参数说明如表1所示。 表1 路径参数 参数 是否必选 参数类型 说明 project_id 是 String
预置工作流生成指定场景模型,无需深究底层模型开发细节。ModelArts PRO底层依托ModelArts平台提供数据标注、模型训练、模型部署等能力。也可以理解过增强版的自动学习,提供行业AI定制化开发套件,沉淀行业知识,让开发者聚焦自身业务。 父主题: 功能咨询
使用MoXing复制数据报错 问题现象 调用moxing.file.copy_parallel()将文件从开发环境的OBS桶中复制到其他OBS桶里,但是桶内没有出现目标文件。 使用MoXing复制数据不成功,出现报错。如: ModelArts开发环境使用MoXing复制OBS数据报错:keyError:
使用前必读 在调用ModelArts API之前,请确保已经充分了解ModelArts相关概念,详细信息请参见产品介绍。 ModelArts提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。
查询资源池上的标签 功能介绍 查询指定资源池的标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/pools/{pool_name}/tags
训练作业:用户在运行训练作业时,可以查看多个计算节点的CPU、GPU、NPU资源使用情况。具体请参见训练资源监控章节。 在线服务:用户将模型部署为在线服务后,可以通过监控功能查看CPU、内存、GPU等资源使用统计信息和模型调用次数统计,具体参见查看服务详情章节。 父主题: ModelArts