残差连接真的是Transformer的瓶颈吗？

最近Moonshot AI开源的Attention Residuals（AttnRes）项目在社区引发了激烈讨论。这个项目把Transformer里"残差相加"换成"注意力选择"，看似小改动，却直指一个核心问题：模型的"深度"到底该怎么用？

我的核心观点：AttnRes方向是对的，但说"残差是最大瓶颈"可能夸大了

🔍 先看AttnRes到底解决了什么

传统残差连接的问题，文章总结得很到位：

AttnRes的解法：让层与层之间也能做Attention--当前层可以"回看"所有历史层，按需挑选组合。

这个思路确实优雅，相当于给Transformer增加了"纵向注意力"（layer维度），补上了原有的"横向注意力"（token维度）的缺失。

⚠️ 但我有三个质疑

1. "最大瓶颈"这个定语，Attention同意吗？

Transformer的复杂度瓶颈，行业共识一直是：

Attention的O(n²)复杂度 -- 这才是长序列扩展的真正拦路虎

残差连接的问题更多是"效率"和"质量"，而非"能不能用"。用"最大瓶颈"来形容，流量味有点重。

2. 注意力本身就有计算成本

AttnRes的公式：

h_ℓ = Σ α_i · v_i  (i从0到ℓ-1)

这意味着每层都要和前面所有层做交互。对于100层模型，第100层要attend 99层，总计算量是O(L²)。虽然L（层数）远小于序列长度n，但对于追求极致效率的场景，这也不是免费午餐。

3. 残差连接的成功有其道理

ResNet的残差连接为什么有效？不只是"好实现"，而是：

• 梯度高速公路：保证梯度顺畅回传
• 隐式集成学习：有研究表明深层ResNet类似浅层网络的ensemble
• 归纳偏置简单："identity + delta"的假设对很多任务友好

AttnRes完全替换残差，是否破坏了这些好处？论文需要更充分的消融实验。

💡 更理性的看法：这不是"取代"，而是"丰富"

我认为AttnRes的真正价值在于：

打开了"层间交互"的设计空间

未来可能是分层策略：

• 浅层：保留残差（简单特征传递）
• 深层：启用AttnRes（复杂信息筛选）
• 或者：残差 + AttnRes的某种组合

就像我们从RNN到Attention，不是完全抛弃递归，而是让模型自己决定怎么递归。

📌 一句话总结

AttnRes是个有启发性的结构创新，但"残差是Transformer最大瓶颈"的说法，更像是技术传播的修辞策略。真正的瓶颈永远是具体场景下的具体约束--有时是内存，有时是延迟，有时是数据，而不是某个组件的绝对好坏。

你怎么看？ 你觉得层间Attention会成为下一代架构的标配，还是又一个"看起来很美"的idea？ 👇