检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
版本说明和要求 资源规格要求 本文档中的模型运行环境是ModelArts Lite的弹性节点Server。推荐使用“西南-贵阳一”Region上的资源和Ascend Snt9B。 请参考Lite Server资源开通,购买Lite Server资源,并确保机器已开通,密码已获取,
认证”,进入统一身份认证(IAM)服务。 在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”,单击右上角的“创建自定义策略”按如下要求设置完成后单击“确定”。 “策略名称”:设置自定义策略名称,例如:允许用户设置训练作业最高优先级。 “策略配置方式”:选择可视化视图。 “
数据集版本不合格 出现此问题时,表示数据集版本发布成功,但是不满足自动学习训练作业要求,因此出现数据集版本不合格的错误提示。 标注信息不满足训练要求 针对不同类型的自动学习项目,训练作业对数据集的要求如下。 图像分类:用于训练的图片,至少有2种以上的分类(即2种以上的标签),每种分类的图片数不少于5张。
当资源池节点可以容纳多个服务节点规格时,就可以部署多个服务。如果使用此方式进行部署推理,选择的规格务必满足模型的要求,当设置的规格过小,无法满足模型的最小推理要求时,则会出现部署失败或预测失败的情况。 图1 设置自定义规格 父主题: Standard专属资源池
cn-north-1.myhuaweicloud.com/v3/auth/tokens 请求消息头 附加请求头字段,如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”,请求鉴权信息等。 需要添加到请求中的公共消息头如表3所示。 表3 公共请求消息头
数据集版本发布失败 出现此问题时,表示数据不满足数据管理模块的要求,导致数据集发布失败,无法执行自动学习的下一步流程。 请根据如下几个要求,检查您的数据,将不符合要求的数据排除后再重新启动自动学习的训练任务。 ModelArts.4710 OBS权限问题 ModelArts在跟O
该日志表示数据集中的有效样本量为0,可能有如下原因: 数据未标注。 标注的数据是不符合规格的(如目标检测算法要求标注为矩形框,但是提供数据标注为非矩形框)。 处理方法 请您检查数据是否已标注,或检查数据标注是否符合算法要求。 父主题: 预置算法运行故障
模型NPU卡数取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推 表1 模型NPU卡数取值表 支持模型 支持模型参数量 文本序列长度 训练类型 Zero并行 规格与节点数 llama3 70B cutoff_len=4096
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 模型参数量 训练类型 序列长度cutoff_len 梯度累积值 优化工具(Deepspeed)
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值
如何安装第三方包,安装报错的处理方法 问题现象 ModelArts如何安装自定义库函数,例如“apex”。 ModelArts训练环境安装第三方包时出现如下报错: xxx.whl is not a supported wheel on this platform 原因分析 由于安装的文件名格式不支持,导致出现“xxx
在数据管理功能中,针对“物体检测”或“图像分类”的数据集,在数据集中上传更多的图片时,是有限制的。要求单张图片大小不超过8MB,且只支持JPG、JPEG、PNG和BMP四种格式的图片。 请注意,针对自动学习功能中的添加图片,其图片大小限制不同,要求上传的图片大小不超过5MB。 解决方案: 方法1:使用导入功能。将
如果使用“自定义算法”创建训练作业,则可以把相关文件放置在配置的“代码目录”下,“启动方式”必须选择“预置框架”。 需要在创建训练作业前将相关文件上传至OBS路径下,文件打包要求请参见安装文件规范。 安装文件规范 请根据依赖包的类型,在代码目录下放置对应文件: 依赖包为开源安装包时 暂时不支持直接从github的源码中安装。
本案例介绍如何将本地开发好的MindSpore模型代码,通过PyCharm ToolKit连接到ModelArts进行云上调试和训练。 开始使用样例前,请仔细阅读准备工作罗列的要求,提前完成准备工作。本案例的步骤如下所示: 步骤1:安装和登录PyCharm ToolKit 步骤2:使用PyCharm进行本地开发调试 步骤3:使用ModelArts
tmp label_map.pbtxt。 原因分析 算法要求标注框为矩形标注框,提供的数据标注为非矩形,因此导致该错误发生。 处理方法 请您将数据的标注改为矩形的标注框。 建议与总结 在训练作业前,推荐您检查数据的标注是否符合算法要求(如物体检测类算法的标注框为矩形标注框)。 父主题:
to >= xxx to use this pandas version” 问题现象 在安装其他包的时候,有依赖冲突,对numpy库有其他要求,但是发现numpy卸载不了。出现如下类似错误: your numpy version is 1.14.5.Please upgrade numpy
第三方推理框架迁移到ModelArts Standard推理自定义引擎 背景说明 ModelArts支持第三方的推理框架在ModelArts上部署,本文以TFServing框架、Triton框架为例,介绍如何迁移到推理自定义引擎。 TensorFlow Serving是一个灵活、