🔥 Transformer 最大瓶颈找到了？不是 Attention，是残差连接！

最近 Moonshot AI 开源了一个很有意思的项目 Attention Residuals（AttnRes），把 Transformer 里的"残差相加"换成了"注意力选择"--听起来是小改动，但可能改变整个模型结构。

🤔 先问一个灵魂问题：Transformer 真的合理吗？

传统 Transformer 的核心公式：

每一层 = 上一层 + 新计算结果

看起来没毛病，但藏着三个大问题：

问题 1：信息被"稀释"

100 层的话，第 1 层的信息权重 ≈ 1/100 👉 早期重要信息被深层淹没

问题 2：越加越乱

hidden state 越来越大，像"文章每段都叠加在一起，不分重点"

问题 3：完全没有选择能力

不管信息有没有用，全部加进来

一句话：Transformer 在 token 维度很聪明，在 layer 维度很"笨"

💡 核心突破：让"层"也能做 Attention

旧公式：

h_ℓ = h_{ℓ-1} + f(h_{ℓ-1})

新公式：

h_ℓ = Σ αᵢ · vᵢ  （对所有历史层做加权选择）

通俗对比

🎯 这对长文本意味着什么？

传统 Transformer 的困境

• 长文本 → 层数加深 → 早期信息指数级衰减
• 32K/128K 上下文，真正"记得住"的没多少

AttnRes 的优势

✅ 信息不被稀释 - 重要层可以被反复"引用" ✅ 显式选择机制 - 模型自己决定哪层信息有用 ✅ 深度真正有效 - 100 层 ≠ 信息混乱，而是 100 个可选"知识库"

🔮 一个大胆的猜测

如果层间 Attention 成为标配，未来可能出现：

• "层专用化" - 某些层专门编码实体，某些层专门推理
• 动态深度 - 简单文本走 10 层，复杂文本走 100 层
• 可解释性飞跃 - 看 attention weight 就知道模型"参考了哪段记忆"

📌 一句话总结

Transformer 把"注意力"给了 token，AttnRes 把"注意力"还给了 layer。

长文本建模的瓶颈，或许从来不在"能看多远"，而在"能记住多少、会选择什么"。

你怎么看？

• 层间 Attention 会成为下一代架构标配吗？
• 这和 DeepSeek 的 MLA、Mamba 的 selective state，是不是同一思路的不同方向？

欢迎讨论 👇