正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
success_num Number 操作成功的节点数,当infer_type为edge时,会返回此值。 failed_num Number 操作失败的节点数,当infer_type为edge时,会返回此值。
SEED 1234 随机种子数。每次数据采样时,保持一致。 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。
修改在线服务还需要配置“最大无效实例数”设置并行升级的最大节点数,升级阶段节点无效。 父主题: 管理同步在线服务
success_num Number 操作成功的节点数,当infer_type为edge时会返回此值。 failed_num Number 操作失败的节点数,当infer_type为edge时会返回此值。
控制推理的步数 否 40 height 生成图像的纵向分辨率 否 1024 width 生成图像的横向分辨率 否 1024 high_noise_frac 高噪声比例,即基础模型跑的步数占总步数的比例 否 0.8 refiner_switch 是否使用细化模型refiner 否 true
训练数据:训练数据列数一致,总数据量不少于100条不同数据(有一个特征取值不同,即视为不同数据)。训练数据列内容不能有时间戳格式(如:yy-mm-dd、yyyy-mm-dd等)的数据。
--tensor-model-parallel-size:张量并行数,需要与训练脚本中的TP值配置一样。 --pipeline-model-parallel-size:流水线并行数,需要与训练脚本中的PP值配置一样。 --saver:检查模型保存名称。
模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。
获取训练吞吐数据:在打印的loss日志中搜索关键字段“elapsed time per iteration”获取每步迭代耗时,总的Token数可以用日志中的“global batch size”和“SEQ_LEN”相乘获得,训练的每卡每秒的吞吐=总Token数÷每步迭代耗时÷总卡数
模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。
替换深度学习训练加速的工具或增加zero等级,可参考模型NPU卡数、梯度累积值取值表,如原使用Accelerator可替换为Deepspeed-ZeRO-1,Deepspeed-ZeRO-1替换为Deepspeed-ZeRO-2以此类推,重新训练如未解决则执行下一步。
表7 GPUInfo 参数 参数类型 描述 gpu Integer GPU卡数。 gpu_memory String GPU内存。 type String GPU类型。
--tensor-model-parallel-size:张量并行数,需要与训练脚本中的配置一样。 --pipeline-model-parallel-size:流水线并行数,需要与训练脚本中的配置一样。 --saver:检查模型保存名称。
修改在线服务还需要配置“最大无效实例数”设置并行升级的最大节点数,升级阶段节点无效。 批量服务参数说明请参见部署为批量服务。 边缘服务参数说明请参见部署为边缘服务。
SEED 1234 随机种子数。每次数据采样时,保持一致。 CONVERT_MG2HF True 表示训练完成的权重文件会自动转换为Hugging Face格式权重。若不需要自动转换,则删除该环境变量。
--tensor-parallel-size:模型并行数。取值需要和启动的NPU卡数保持一致,可以参考1。此处举例为1,表示使用单卡启动服务。 --block-size:PagedAttention的block大小,推荐设置为128。
SEED 1234 随机种子数。每次数据采样时,保持一致。 CONVERT_MG2HF True 表示训练完成的权重文件会自动转换为Hugging Face格式权重。若不需要自动转换,则删除该环境变量。
SEED 1234 随机种子数。每次数据采样时,保持一致。 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。
SEED 1234 随机种子数。每次数据采样时,保持一致。 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。
--tensor-model-parallel-size:${TP} 张量并行数,需要与训练脚本中的配置一样。 --pipeline-model-parallel-size:${PP} 流水线并行数,需要与训练脚本中的配置一样。 --saver:检查模型保存名称。