代码详解：用Pytorch训练快速神经网络的9个技巧

要想在Pytorch中用16位精度,先从NVIDIA中安装 apex 图书馆 并对你的模型进行这些更改。

# enable 16-bit on the model and the optimizer 
model, optimizers = amp.initialize(model, optimizers, opt_level='O2') 
 
# when doing .backward, let amp do it so it can scale the loss 
with amp.scale_loss(loss, optimizer) as scaled_loss:                        
    scaled_loss.backward() 

amp包会处理大部分事情。如果梯度爆炸或趋于零，它甚至会扩大loss。

在Lightning中， 使用16位很简单

（编辑：威海站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!