检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
|── ${model_name} # 模型名称,根据实际训练模型创建，训练完成权重文件及日志目录 上传代码和权重文件到工作环境 使用root用户以SSH的方式登录DevServer。 将AscendCloud代码包AscendCloud-xxx-xxx
|── ${model_name} # 模型名称,根据实际训练模型创建，训练完成权重文件及日志目录 上传代码和权重文件到工作环境 使用root用户以SSH的方式登录DevServer。 将AscendCloud代码包AscendCloud-xxx-xxx
llama2系列模型执行脚本的文件夹 |──llama3 # llama3系列模型执行脚本的文件夹 |──qwen # Qwen系列模型执行脚本的文件夹
择“模型文件”页签可以查看微调产物。各文件说明请参见表3。 图1 微调产物示例 表3 微调产物说明 文件名 文件说明 gallery_train文件夹 自定义模型的模型训练文件，仅当使用自定义模型微调时才会有这个微调产物，内容和预训练模型里的gallery_train文件一致。
中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置：输入用户在Notebook中创建的“子目录挂载”
中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置：输入用户在Notebook中创建的“子目录挂载”
码和模型文件，实现安全、高可靠和低成本的存储需求。因此，在使用ModelArts之前通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。 本文档也以将运行代码存放OBS为例，请参考创建OBS桶，例如桶名：standard-qwen-14b。并在该桶下创建文件夹目录用于后续存储代码使用，例如：code。
节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，日志存放在第一个的Rank节点中；日志存放路径为：对应表1表格中output_dir参数值路径下的trainer_log.jsonl文件 查看性能 训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。
参数名称 说明 数据源（“OBS”） “文件路径”：单击输入框右侧按钮，可打开当前账号下的所有OBS桶，请选择需要导入的数据文件所在目录。 “导入是否包含表头”：默认开启，表示导入文件包含表头。 如果您的原始表格中已包含表头，开启时，会将导入文件的第一行（表头）作为列名，无需再手动修改Schema信息。
-path kv_cache_scales.json #输入2. 抽取kv-cache量化系数生成的json文件路径; 如果只测试推理功能和性能，不需要此json文件，此时scale系数默认为1，但是可能会造成精度下降。 per-tensor+per-head静态量化场景 如需
# 保存网络输入为二进制文件 image.tofile("input_data.bin") 将基准模型的输出保存到文本文件。 本例中输出节点名称为output_node_name，输出节点的shape为“(1, 1000)”，因此一共有两维，对应的输出文件为“output_node_name
Lite功能介绍 ModelArts Lite基于软硬件深度结合、垂直优化，构建开放兼容、极致性价比、长稳可靠、超大规模的云原生AI算力集群，提供一站式开通、网络互联、高性能存储、集群管理等能力，满足AI高性能计算等场景需求。目前其已在大模型训练推理、自动驾驶、AIGC、内容审核等领域广泛得到应用。
Gallery仓库内的地址，则填写相对路径。 同时，还需要在“模型文件”添加gallery_train文件夹，文件夹内容参考表2。 表2 gallery_train文件列表 文件类型 文件说明 “train_params.json” 必选文件，训练参数文件，定义了模型训练的必要参数，例如训练方式、超参
下载格式转换后的annotation文件：ILSVRC2021winner21k_whole_map_train.txt和ILSVRC2021winner21k_whole_map_val.txt。 下载完成后将上述3个文件数据上传至OBS桶中的imagenet21k_whole文件夹中。上传方法请
从OBS导入数据到ModelArts数据集 从OBS导入数据到数据集场景介绍 从OBS目录导入数据到数据集 从Manifest文件导入数据到数据集 从OBS目录导入数据规范说明 从Manifest文件导入规范说明 父主题： 导入数据到ModelArts数据集
中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置：输入用户在Notebook中创建的“子目录挂载”
create('dist_async') print('end') 原因分析 worker阻塞的原因可能是连不上server。 处理方法 将如下代码放在“启动文件”里“import mxnet”之前可以看到节点间相互通信状态，同时ps能够重新发送。 import os os.environ['PS_VERBOSE']
905-xxx.zip 推理依赖的算子包。 模型软件包结构说明 本教程需要使用到的AscendCloud-3rdLLM-xxx.zip软件包中的关键文件介绍如下。 ├──llm_tools #推理工具包 ├──llm_evaluation #推理评测代码包
快速开始 ModelArts SDK目前仅支持在ModelArts开发环境Notebook和本地PC两种环境使用。 ModelArts SDK不支持在训练作业和在线服务中使用。 ModelArts SDK已经集成在ModelArts开发环境Notebook中，可以直接使用，无需进行Session鉴权。
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 BF16和FP16说明 录制Profiling 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
