正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Link PyTorch NPU训练指导(6.3.907) 场景介绍 准备工作 预训练任务 SFT全参微调训练任务 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.907) 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x
04内核自动升级? 哪里可以了解Atlas800训练服务器硬件相关内容 使用GPU A系列裸金属服务器有哪些注意事项? GPU A系列裸金属服务器如何更换NVIDIA和CUDA?
从本地上传数据到ModelArts数据集 文件型数据来源 文件型数据集支持从两种数据源导入数据:“OBS”和“本地上传”。导入后,导入目录下的数据会复制至数据集的数据源路径下。 OBS:又分为从OBS目录或从Manifest文件两种导入方式,需要将导入的数据或Manifest文件提前存储至OBS目录中。
模型路径。脚本里写到datasets路径即可。 run_lora_sdxl中的vae路径要准确写到sdxl_vae.safetensors文件路径。 vim run_lora.sh vim run_lora_sdxl.sh 启动SD1.5 LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。
模型路径。脚本里写到datasets路径即可。 run_lora_sdxl中的vae路径要准确写到sdxl_vae.safetensors文件路径。 vim run_lora.sh vim run_lora_sdxl.sh 启动SD1.5 LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。
件内容,“文件类型”)}”,参数填写可以参考表1。 表1 files参数说明 参数 是否必填 说明 请求参数 是 在线服务输入参数名称。 文件路径 否 上传文件的路径。 文件内容 是 上传文件的内容。 文件类型 否 上传文件类型。当前支持以下类型: txt类型:text/plain
执行训练启动命令后,等待模型载入,当出现“training”关键字时,表示开始训练。训练过程中,训练日志会在最后的Rank节点打印。 图1 等待模型载入 更多查看训练日志和性能操作,请参考查看日志和性能章节。 如果需要使用断点续训练能力,请参考断点续训练章节修改训练脚本。 父主题: 预训练
在线服务预测报错ModelArts.4503 当使用推理的镜像并且出现MR.XXXX类型的错误时,表示已进入模型服务,一般是模型推理代码编写有问题。 请根据构建日志报错信息,定位服务预测失败原因,修改模型推理代码后,重新导入模型进行预测。 经典案例:在线服务预测报错MR.0105 出现其他情况,优先检查客户端和外部网络是否有问题。
引擎规格接口获取引擎规格ID。 train_url 否 String 训练作业的输出文件OBS路径URL,默认为空,如“/usr/train/”。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/train/”。 user_image_url
推理业务迁移到昇腾的通用流程,可参考GPU推理业务迁移至昇腾的通用指导。 由于Huggingface网站的限制,访问Stable Diffusion链接时需使用代理服务器,否则可能无法访问网站。 在Stable Diffusion迁移适配时,更多的时候是在适配Diffusers和Stable Diffusion
训练作业、算法的规格信息。 表28 algorithm 参数 参数类型 描述 code_dir String 算法启动文件所在目录绝对路径。 boot_file String 算法启动文件绝对路径。 inputs inputs object 算法输入通道信息。 outputs outputs object
查看OBS桶是否加密 检查OBS文件是否为加密文件 进入OBS管理控制台,单击桶名称进入概览页。 单击左侧菜单栏对象,进入对象列表。单击存放文件的对象名称,并找到具体的文件,可在文件列表的“加密状态”列查看文件是否加密。文件加密无法取消,请先解除桶加密,重新上传图片或文件。 检查OBS桶的ACLs设置
Torch训练脚本中插入Ascend PyTorch Profiler接口,执行训练的同时采集性能数据,完成训练后直接输出可视化的性能数据文件,提升了性能分析效率。 Ascend PyTorch Profiler接口可全面采集PyTorch训练场景下的性能数据,主要包括PyTor
arch String 服务器镜像架构类型。 ARM X86 image_id String 服务器镜像ID。 name String 服务器镜像名称。 server_type String 服务器类型。枚举值如下: BMS:裸金属服务器 ECS:弹性云服务器 请求示例 PUT h
AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化,量化方法为per-group。 Step1 模型量化 可以在Huggi
Convertor2.1版本之前可能出现的调优不生效的场景,建议直接使用MindSpore Lite Convertor2.1及以后的版本。配置文件指定选项进行AOE调优。使用转换工具配置config参数,具体如下所示,其中“subgraph tuning”表示子图调优,“operator
查看作业详情 如何查看训练作业资源占用情况? 如何访问训练作业的后台? 两个训练作业的模型都保存在容器相同的目录下是否有冲突? 训练输出的日志只保留3位有效数字,是否支持更改loss值? 训练好的模型是否可以下载或迁移到其他账号?如何获取下载路径? 父主题: Standard训练作业
modelarts:trainJob:list - √ √ 训练作业日志预览 GET /v2/{project_id}/training-jobs/{training_job_id}/tasks/{task_id}/logs/preview - - √ √ 训练作业日志下载 GET /v2/{project_