深度学习工程师秘而不宣的代码重构三原则

　　掘金上有人发帖问“怎么优雅重构PyTorch训练脚本”，底下清一色讲Hook怎么插、Module怎么拆、config怎么yaml化——我划到一半，把手机倒扣在桌上，听见机房空调嗡嗡响，像台老拖拉机在三楼缓速爬坡。

　　去年九月，我和老陈蹲在B12机房改一个CV模型的分布式训练逻辑。他穿灰夹克，袖口磨得发亮，右手小指总不自觉敲桌面，嗒、嗒、嗒，和GPU风扇转速差不多。那天下午三点十七分，窗外开始下雨，雨点先砸在采光顶上，闷响，然后才漏进通风口的回声里。他接了个电话，没开免提，只把听筒压在左耳，肩膀耸起来，说“嗯…对…loss不降不是梯度问题”，说完就挂了，没看我，伸手把桌上那份打印的checkpoint加载日志翻过去——背面是昨天的盒饭单子，葱油拌面，十五块五。

　　我原以为所谓“三原则”是技术洁癖：变量名要semantic、梯度计算要lazy、weight decay要和optimizer耦合解耦——结果推着推着，发现全是活人筛出来的。不是谁写了文档，是某次CI跑崩四十二次后，小马直接删了整个train_step()函数，重写成三个独立函数，中间加了两个assert，其中一个断言只检查torch.cuda.is_available()——就这行，上线三天后救了两次OOM。我说这算哪门子原则？他抬头看我一眼：“它活下来了。”

　　所以这三原则根本不是设计出来的。第一，tensor shape别在forward里硬写，必须从input自动infer；第二，所有loss分支必须带flag开关，开关默认False，但测试时强制True跑一轮；第三，model.eval()之前，先做一次no_grad下forward，输出shape跟train mode对不上就当场raise。就这么三句。我敢打包票，去年九月那版代码里，第三条是小马边改边骂着敲进去的——他敲完按了三下Ctrl+S，又删掉最后一行，重新敲，因为第一次漏了个括号。我看着他右手中指悬在键盘上停了十八秒，窗外雨突然变大，哗一下，整个机房灯闪了半秒。

　　但你说它站得住？站得住的地方就一个：优胜劣汰。不是因为多美，是它被踩过太多脚还站着。我上周翻内网复盘通报，看到六月份另一个组的retrain pipeline崩溃报告，root cause写着“forward中硬编码H=224”，底下补丁行就是把224换成config.img_size。他们没提三原则，但补丁逻辑，就是第一条。

　　不过话说回来，小马后来去字节了，走前把我拉进一个叫“torch_reality”的微信群，三百七十二个人，没人说话，但每天凌晨两点自动弹一条log，是某个沙箱集群的训练失败摘要，纯文本，没解析，就一行：[FAIL] resnet50_v3 | DDP | amp=False | loss NaN @ step 4712。群里头像清一色是黑底白字，ID带数字编号。我试过点开一个ID资料页，显示“已离职”，签名栏写着“shapes lie, grads don’t”。我点了个赞，对方没回。

　　对了，那天老陈挂完电话后，把盒饭盒往旁边挪了八厘米，露出底下一张便签纸，上面用蓝笔写了两行：
“batch size 不能除尽 → pad to next power of two？
→ no. drop_last=True更诚实。”

文章配图，仅供参考

　　现在我自己写eval_loop的时候，还是会下意识先写个fake_input = torch.randn(1,3,224,224)，跑一遍model(fake_input)再写循环体——但有时候真输入是List[Tensor]，比如检测框那种。这个我拿不准。是不是该把fake_input也改成list？还是写个get_fake_input(model)接口？我试过一次，写了四十行type guard，第二天自己全删了。删之前截图发给了小马，他回了个“????”，再没下文。我猜他早就不看了。

　　所以你问我这三原则有没有通用性？我不信什么“工程范式”，我信的是：哪天你写的代码在没有review、没有test、甚至没被任何人读过的情况下，靠自己活过三次迭代、两个模型、一场显存风暴，那它大概率自带抗体。至于抗体长什么样——你得先让它得病。

　　今天早上我让实习生跑了一遍当前主干的trainer_test.py，六个case pass了五个，第六个fail，报错是RuntimeError: “Expected all tensors to be on the same device”，但traceback里根本没出现device关键字。我盯了四分钟，忽然想起三个月前改过DistributedSampler的seed逻辑……算了，先让她把报错截图钉在飞书群里，标题写：“求救：loss没nan，但tensor在做梦”。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!