检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
未实名认证
已实名认证
具体流程图如下: 图1 多机多卡数据并行训练 代码改造点 引入多进程启动机制:初始化进程 引入几个变量:tcp协议,rank进程序号,worldsize开启的进程数量 分发数据:DataLoader中多了一个Sampler参数,避免不同进程数据重复 模型分发:DistributedDataParallel(model)