检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。 吞吐量（tokens/s/p）：可通过表1表格中output_dir参数值路径下的train_results.json查看性能。吞吐计算公式为"num_input_tokens_seen / train_runtime / 训练卡数"。相关参数可查看表1。
BF16和FP16说明 在大模型训练中，BF16（Brain Floating Point）和FP16（Float16）都是使用的半精度浮点数格式，但它们在结构和适用性上有一些重要的区别。 BF16：具有8个指数位和7个小数位。在处理大模型时有优势，能够避免在训练过程中数值的上溢
BF16和FP16说明 在大模型训练中，BF16（Brain Floating Point）和FP16（Float16）都是使用的半精度浮点数格式，但它们在结构和适用性上有一些重要的区别。 BF16：具有8个指数位和7个小数位。在处理大模型时有优势，能够避免在训练过程中数值的上溢
“自定义模型”列表，单击“AI Gallery订阅模型”，跳转至“AI Gallery”模型列表，选择模型进行订阅。 将订阅模型部署为服务 针对订阅模型，支持将模型一键部署为服务。 在“订阅模型”列表，单击“版本数量”，在右侧展开版本列表，当订阅模型的版本列表的状态显示为“就绪”时表示模型可以使用。
查看日志和性能 查看日志 训练过程中，训练日志会在第一个的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，日志存放在第一个的Rank节点中；日志存放路径为：对应表1表格中output_dir参数值路径下的trainer_log.jsonl文件 查看性能
针对不同的数据量和算法情况，推荐以下训练方案： 单机单卡：小数据量（1G训练数据）、低算力场景（1卡Vnt1），存储方案使用“OBS的并行文件系统（存放数据和代码）”。 单机多卡：中等数据量（50G左右训练数据）、中等算力场景（8卡Vnt1），存储方案使用“SFS（存放数据和代码）”。
会造成小任务被“饿死”，需要用户注意。 饿死指的是前面的任务被一个大的任务堵着（例如是64卡），需要等空闲64卡这个任务才能运行，64卡的任务后面跟着1卡的。即使现在空出来30卡，这个1卡的任务也排不上。 如果是公共资源池，一般是由于其他用户占用资源导致。有以下方法可以尝试： 如
2-70b/logs 查看性能 训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。 吞吐量（tokens/s/p）：global batch size*seq_length/(总卡数*elapsed time per iteration)*1000，其global
2-70b/logs 查看性能 训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。 吞吐量（tokens/s/p）：global batch size*seq_length/(总卡数*elapsed time per iteration)*1000，其global
2-70b/logs 查看性能 训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。 吞吐量（tokens/s/p）：global batch size*seq_length/(总卡数*elapsed time per iteration)*1000，其global
针对不同的数据量和算法情况，推荐以下训练方案： 单机单卡：小数据量（1G训练数据）、低算力场景（1卡Vnt1），存储方案推荐使用“OBS的并行文件系统（存放数据和代码）”。 单机多卡：中等数据量（50G左右训练数据）、中等算力场景（8卡Vnt1），存储方案推荐使用“SFS（存放数据和代码）”。
查看日志和性能 查看日志 训练过程中，训练日志会在第一个的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，日志存放在第一个的Rank节点中；日志存放路径为：对应表1表格中output_dir参数值路径下的trainer_log.jsonl文件 查看性能
查看日志和性能 查看日志 训练过程中，训练日志会在第一个的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，日志存放在第一个的Rank节点中；日志存放路径为：对应表1表格中output_dir参数值路径下的trainer_log.jsonl文件。 查看性能
查看日志和性能 查看日志 训练过程中，训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，可以在${OUTPUT_SAVE_DIR}/log路径下获取。 查看性能 训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。
2-70b/logs 查看性能 训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。 吞吐量（tokens/s/p）：global batch size*seq_length/(总卡数*elapsed time per iteration)*1000，其global
2-70b/logs 查看性能 训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。 吞吐量（tokens/s/p）：global batch size*seq_length/(总卡数*elapsed time per iteration)*1000，其global
过创建标注任务进行数据标注。 文件型数据标注状态 数据标注状态分为“未标注”和“已标注”。 未标注：仅导入标注对象（指待标注的图片，文本等），不导入标注内容（指标注结果信息）。 已标注：同时导入标注对象和标注内容，当前“自由格式”的数据集不支持导入标注内容。 为了确保能够正确读取
问题现象 在高性能8卡GPU的裸金属上的训练任务突然变慢，以前1个epoch约2小时执行完成，最近1个epoch需要2天才能执行完成，并且执行“nvidia-smi”也明显变很卡顿。 原因分析 根据现象描述可能出现了nvidia-smi D+进程。 "D+"表示进程状态为"Uninterruptible
以Llama2-70b和Llama2-13b的LoRA微调为例，执行脚本为0_pl_lora_70b.sh和0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。 表1 训练超参配置说明 参数
以Llama2-70b和Llama2-13b的LoRA微调为例，执行脚本为0_pl_lora_70b.sh和0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。 表1 训练超参配置说明 参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
