代码详解：用Pytorch训练快速神经网络的9个技巧

在上面的例子中，编码器和解码器仍然可以从并行化每个操作中获益。我们现在可以更具创造力了。

# change these lines 
self.encoder = RNN(...) 
self.decoder = RNN(...) 
 
# to these 
# now each RNN is based on a different gpu set 
self.encoder = DataParallel(self.encoder, devices=[0, 1, 2, 3]) 
self.decoder = DataParallel(self.encoder, devices=[4, 5, 6, 7]) 
 
# in forward... 
out = self.encoder(x.cuda(0)) 
 
# notice inputs on first gpu in device 
sout = self.decoder(out.cuda(4))  # <--- the 4 here 

（编辑：威海站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!