月之暗面

引言：十年没人动过的地基，被撬动了 同样的算力，同样的数据，凭什么效果不一样？ 大多数人的直觉是：模型更大、数据更好、工程师更厉害。但 Kimi 给出了一个更出人意料的答案。 3月16日，月之暗面 Kimi 发布了一项重磅技术报告《Attention Residuals》（注意力残差）。这项技术针对几乎所有现代大模型都在使用的残差连接结构进行了改造，并在实验中证明：用同样多的算力，新方法训练出的模型效果相当于基线模型花费 1.25 倍算力才能达到的效果。 报告发布后，得到了许多硅谷顶尖 AI 人物的点赞背书： 人物 评价 马斯克 “Impressive work from Kimi（令人印象深刻的工作）” Jerry Tworek (OpenAI o1 主要发明者) “深度学习 2.0"的开端 Andrej Karpathy (前 OpenAI 联创) “看来我们还没把『Attention is All You Need』这句话按字面意思理解透” 技术论文背后的信号或许更值得关注：深度学习最基础的范式，正在发生变化。 一、残差连接：从 ResNet 到 Transformer 1.1 为什么需要残差连接？ 现代大模型，其实都是由很多层神经网络叠加而成的，少则几十层，多则上百层。信息从底部输入，一层一层往上传递，每一层都对信息做一次加工，最终在顶部输出结果。 可以把它想象成一条流水线上的工人：原材料从第一道工序进来，每个工人对它加工一遍，再传给下一个，最终出来成品。 问题是，流水线越长，越难训练。 假设第50道工序的工人犯了错，你想纠正他，就得把这个「纠错信号」一路往回传，经过49个工人才能传到第1个。传着传着，信号就消失了，底层的工人根本不知道自己哪里出了问题。 1.2 ResNet 的解决方案 为了让这么深的网络能够训练起来，知名学者何恺明团队在2015年发表了一篇题为《Deep Residual Learning for Image Recognition》的论文，引入了一个关键设计，叫做残差连接（Residual Connections）： 每一层在加工信息的同时，还会保留一条「直通道」，把原始输入原封不动地加到加工结果上，再往下传。这条直通道让梯度在反向传播时可以绕过中间的变换，一路流回底层，从根本上解决了深层网络难以训练的问题。 这篇论文后来成为计算机视觉乃至整个深度学习领域引用次数最多的论文之一，残差连接也沿用至今，是几乎所有大模型的基石。 1.3 残差连接的局限 残差连接虽然好用，但它做信息聚合的方式非常粗暴：把所有前面层的输出，无差别地等权相加。 还是用流水线来比喻。到了第51道工序，这个工人手里拿到的，是前面50道工序所有产出物的等量混合，每道工序的产出各占一份，不多不少。 他没有办法说： “我想多要一点第3道工序的原料” “第20道工序的东西对我没用，少给我一点” 这带来了一个名为 PreNorm 稀释 的实际问题：随着网络越来越深，累积叠加的信息越来越多，每一层自己的贡献在庞大的总量里越来越微不足道。越靠后的层，想要让自己的声音被「听见」，就得输出越来越大的数值，否则就会被淹没。 ...