代码详解：用Pytorch训练快速神经网络的9个技巧

然而，在Lightning中，这是一个自带功能。只需设定节点数标志，其余的交给Lightning处理就好。

# train on 1024 gpus across 128 nodes 
trainer = Trainer(nb_gpu_nodes=128, gpus=[0, 1, 2, 3, 4, 5, 6, 7]) 

Lightning还附带了一个SlurmCluster管理器，可助你简单地提交SLURM任务的正确细节(示例：

https://github.com/williamFalcon/pytorch-lightning/blob/master/examples/new_project_templates/multi_node_cluster_template.py?source=post_page---------------------------#L103-L134)

10. 福利!更快的多GPU单节点训练

事实证明，分布式数据并行处理要比数据并行快得多，因为其唯一的通信是梯度同步。因此，最好用分布式数据并行处理替换数据并行，即使只是在做单机训练。

（编辑：威海站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!