检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
mples 配置需要使用的NPU卡,例如:实际使用的是第1张和第2张卡,此处填写为“0,1”,以此类推。 export ASCEND_RT_VISIBLE_DEVICES=0,1 通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡,如果希望使用第一和第二张卡,则“export
PyTorch NPU训练指导(6.3.908) 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
PyTorch NPU训练指导(6.3.909) 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
PyTorch NPU训练指导(6.3.910) 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
PyTorch NPU训练指导(6.3.911) 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
前提条件 已存在创建完成的数据集。 准备需要导入的数据,具体可参见从Manifest文件导入规范说明。 需导入的数据,已存储至OBS中。Manifest文件也需要存储至OBS。 确保数据存储的OBS桶与ModelArts在同一区域,并确保用户具有OBS桶的操作权限。 文件型数据从Manifest导入操作
删除maos-node-agent的pod(重启pod)。 CCE页面上删除节点上的污点A200008。 ModelArts上重置节点。 CCE页面上配置中心修改默认调度器为volcano。 该方案的缺点:后续对ModelArts的节点做相关操作如重置、升级驱动等可能会出现节点异常无法启动的情况。 父主题:
删除API 功能介绍 删除指定的API,只有对API所属服务有删除权限的用户才可以删除API。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/
且隔离的可用区,这些可用区通过延迟低、吞吐量高且冗余性高的网络连接在一起。利用可用区,您可以设计和操作在可用区之间无中断地自动实现故障转移的应用程序和数据库。与传统的单个或多个数据中心基础设施相比,可用区具有更高的可用性、容错性和可扩展性。 ModelArts通过对DB的数据进行
卡死等)导致训练作业还未完成就被中断,下一次训练可以在上一次的训练基础上继续进行。这种方式对于需要长时间训练的模型而言比较友好。 断点续训练是通过checkpoint机制实现。 checkpoint的机制是:在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重
通过patch操作对服务进行更新 查询服务监控信息 查询服务列表 部署服务 查询支持的服务部署规格 查询服务详情 更新服务配置 删除服务 更新模型服务的单个属性 查询专属资源池列表 查询服务事件日志 启动停止边缘节点服务实例 查询服务更新日志 添加资源标签 删除资源标签 查询推理服务标签 查询推理VPC访问通道信息的API
训练脚本说明 训练启动脚本说明和参数配置 训练数据集预处理说明 训练权重转换说明 训练tokenizer文件说明 父主题: 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.907)
__mul__.2在forward计算阶段的第一个input存在偏差。 追溯代码实现是下图中noise变量使用torch.rand_like ()作noise变量的初始化 (下图第730行)。由于torch.rand_like()该函数会根据输入的input构造同样size、dtype
验证集,不支持指定。 切分比例的指定: 在发布数据集时,仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 一般默认不启用该功能。启用后,需设置对应的训练验证比例。 输入“训练集比例”,数值只能是0~1区间内的数。设置好“训练集比例”后,“验
KeyError: 'bndbox' 原因分析 用于训练的数据集中,使用了“非矩形框”标注。而预置使用算法不支持“非矩形框”标注的数据集。 处理方法 此问题有两种解决方法: 方法1:使用常用框架自行编码开发模型,支持“多边形”标注的数据集。 方法2:修改数据集,使用矩形标注。然后再启动训练作业。 父主题:
打开“Settings” 在打开的“MobaXterm Configuration”配置页面,选择“SSH”选项卡,勾选“SSH keepalive”,如图2 勾选“SSH keepalive”所示。 图2 勾选“SSH keepalive” 如果使用的是专业版的MobaXterm工具,请执行步骤3。
-size)的设置:需要遵循GBS/MBS的值能够被NPU/(TP×PP×CP)的值进行整除。 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表2 不同模型推荐的参数与NPU卡数设置
服务升级关系着业务实现,不当的升级操作会导致升级期间业务中断的情况,请谨慎操作。 ModelArts支持部分场景下在线服务进行无损滚动升级。按要求进行升级前准备,做好验证,即可实现业务不中断的无损升级。 表1 支持无损滚动升级的场景 创建模型的元模型来源 服务使用的是公共资源池 服务使用的是专属资源池
服务升级关系着业务实现,不当的升级操作会导致升级期间业务中断的情况,请谨慎操作。 ModelArts支持部分场景下在线服务进行无损滚动升级。按要求进行升级前准备,做好验证,即可实现业务不中断的无损升级。 表1 支持无损滚动升级的场景 创建模型的元模型来源 服务使用的是公共资源池 服务使用的是专属资源池
如下: true:团队标注任务的标注结果自动同步至数据集(默认值) false:团队标注任务的标注结果不自动同步至数据集 data_sync_type 否 Integer 同步类型。可选值如下: 0:不同步 1:同步数据 2:同步标签 3:同步数据和标签 repetition 否