检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
zip，并直接进入到llm_train/AscendFactory文件夹下面 cd ./llm_train/AscendFactory 编辑llm_train/AscendFactory中的Dockerfile文件，修改git命令，填写自己的git账户信息。 git config
ECS中构建新镜像 通过ECS获取基础镜像获取基础镜像后，可通过ECS运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压Asce
ECS中构建新镜像 通过ECS获取基础镜像获取基础镜像后，可通过ECS运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压Asce
accelerate==0.30.1 timm==0.9.16 准备数据集。 下载Kaggle官网提供的imagenet-mini数据集，解压之后文件大小4.1GB。该数据集是从[imagenet-2012]数据集中筛选的少量数据集。 准备预训练权重。 下载Hugging Face权重。
需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x
3.909中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。 |——AscendCloud-LLM ├──llm_inference # 推理代码 ├──ascend_vllm
需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x
3.911中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。 |——AscendCloud-LLM ├──llm_inference # 推理代码 ├──ascend_vllm
需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x
ECS中构建新镜像 通过ECS获取和上传基础镜像获取基础镜像后，可通过ECS运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压A
编辑llm_train/AscendSpeed中的Dockerfile文件第一行镜像地址，修改为本文档中的基础镜像地址。 FROM {image_url} （选填）编辑llm_train/AscendSpeed中的Dockerfile文件，修改git命令，填写自己的git账户信息。 git config
xxx.zip，并直接进入到llm_train/AscendSpeed文件夹下面 cd ./llm_train/AscendSpeed 编辑llm_train/AscendSpeed中的Dockerfile文件第一行镜像地址，修改为本文档中的基础镜像地址。 FROM {image_url}
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 录制Profiling 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6
模型管理 创建模型失败，如何定位和处理问题？ 导入模型提示该账号受限或者没有操作权限 用户创建模型时构建镜像或导入文件失败 创建模型时，OBS文件目录对应镜像里面的目录结构是什么样的？ 通过OBS导入模型时，如何编写打印日志代码才能在ModelArts日志查询界面看到日志 通过O
etrain_hf中的文件与原始Hugging Face模型中的文件进行对比，查看是否缺少如tokenizers.json、tokenizer_config.json、special_tokens_map.json等tokenizer文件或者其他json文件。如果缺少则需要直接复
SDK报错“ERROR: Could not install packages due to an OSError” ModelArts SDK下载文件目标路径设置为文件名，部署服务时报错 调用API创建训练作业，训练作业异常 用户执行huaweicloud.com相关API超时
节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，日志存放在第一个的Rank节点中；日志存放路径为：对应表1表格中output_dir参数值路径下的trainer_log.jsonl文件 查看性能 训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。
参数名称 说明 数据源（“OBS”） “文件路径”：单击输入框右侧按钮，可打开当前账号下的所有OBS桶，请选择需要导入的数据文件所在目录。 “导入是否包含表头”：默认开启，表示导入文件包含表头。 如果您的原始表格中已包含表头，开启时，会将导入文件的第一行（表头）作为列名，无需再手动修改Schema信息。
Gallery CLI配置工具指南 安装Gallery CLI配置工具 使用Gallery CLI配置工具下载文件 使用Gallery CLI配置工具上传文件 父主题： AI Gallery（新版）
载功能，需要新建一个OBS挂载专属目录如“/obs-mount/”，避免选择存量目录覆盖已有文件。OBS挂载仅开放对挂载目录文件新增、查看、修改功能，如果需要删除文件请到OBS并行文件系统中手动删除。 健康检查接口示例如下。 URI GET /health 请求示例curl -X
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
