在深度学习训练中，训练方式根据并行策略的不同分为模型并行和数据并行。 在 N 卡上使用 torch 进行数据并行训练时，又有两种不同的选择：torch.nn.DataParallel(DP)、torch.nn.DistributedDataParallel(DDP)。 今天的重点是在 Docker 中使用 torch.nn.DataParallel(DP) 进行单机多卡训练。