检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：Standard大模型推理常见问题
主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.908） 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.908）
训练脚本说明参考 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.908）
准备工作 准备环境 准备代码 准备镜像环境 准备数据（可选） 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.908）
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 录制Profiling 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3
准备工作 准备资源 准备数据 准备权重 准备代码 准备镜像 准备Notebook（可选） 父主题： 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.908）
主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.908） 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.909） 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.909）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.909）
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906）
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： 主流开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.906）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.906）
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.907）
训练脚本说明 yaml配置文件参数配置说明 各个模型深度学习训练加速框架的选择 模型NPU卡数取值表 各个模型训练前文件替换 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.907）
CommonOperations权限只能二选一，不能同时选。 SFS弹性文件服务 弹性文件服务SFS Turbo的所有权限。使用SFS服务时需要配置。 ECS弹性云服务器 弹性云服务器所有权限。使用ECS服务时需要配置。 SWR容器镜像仓库 容器镜像仓库所有权限。使用SWR服务时需要配置。同时，还需开通SWR组织权限。
单机多卡 上传数据和算法至SFS（首次使用时需要） 使用Notebook进行代码调试 创建训练任务 父主题： 调试与训练
权限控制方式 IAM 依赖和委托 工作空间 父主题： Standard权限管理
准备工作 准备环境 准备代码 准备数据 准备镜像环境 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导（6.3.909）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
