全注意力机制能看所有历史，局部注意力只能看最近 k 步——几乎所有从业者都把前者默认成更强的那个。Li & Cotterell 在 ACL 2026 的这篇长文（arXiv 2605.00768）用线性时序逻辑（LTL）给出了一个反直觉的刻画：这两种注意力不是强弱关系，而是两个方向上的互补关系。局部注意力从来不只是省算力的妥协，它有自己独立的表达力贡献。
一、复杂度遮蔽了什么问题
直观上，窗口越大信息越多，全局注意力理所当然地覆盖局部注意力。但"能访问的信息多"和"能表达的性质多"是两回事。论文用 LTL 把注意力机制在序列识别任务上的表达能力做了精确分类：全局注意力对应无界过去算子 P，可以回答"过去任意位置是否出现过某个条件"这类问题；局部注意力对应有界回看算子 Y^k，只能看到最近 k 步。
实验设置很干净：在形式语言识别任务上验证理论分类，再用 WikiText-2 语言建模对比不同混合配置的困惑度。两组实验互补——前者检验表达力的理论边界，后者检验这种边界在真实数据上的体现。
二、两堵墙与一条夹缝
两个核心反例把边界画得很清楚。
第一堵墙是全局注意力的，它表达不了 Σa 这类"以 a 结尾"的模式。这反直觉——结尾明明就在眼前，但全局注意力需要从任意历史位置"看到"当前符号，反而缺乏对末端位置的精确锚定。第二堵墙是局部注意力的，它表达不了 aΣ 这类"以 a 开头"的属性：要从序列后面的位置确认"开头是什么"，任何固定窗口都做不到，因为开头离得无限远。
结论是两者严格互补：全局注意力善于无界回溯，局部注意力善于有界锚定。最自然的解法是混合两者，论文得到最丰富的表达类。实验验证了这个判断——混合模型在困惑度和长序列泛化上都优于纯全局，而且窗口 k=1 的混合模型已经能胜过纯全局。这说明混入极少量的局部信息，就足以补上全局注意力在末端与相邻模式上的盲区。
三、形式刻画的边界在哪里
这套理论有明确的适用范围。LTL 刻画的是布尔式的序列性质，注意力权重的连续数值模式、计数能力、上下文中的数值推理都不在这个框架内。理论证明的"能表达"与训练中模型"实际能否学到"，之间也有距离——论文在两个实验设置上做了验证，但形式语言任务与真实语言任务之间的鸿沟没有被完全填平。
还有一个需要警惕的引申边界：这篇工作在 RAG、embedding 或 chunking 上没有任何结论，它不回答"上下文该切多大"这类工程问题。它刻画的是注意力机制的相对表达力，不是绝对的数据处理策略。从这篇论文推出任何 chunk 尺寸建议，都是过度解读。
四、架构选择的心智模型需要更新
这篇工作改变了我对两个问题的判断。
第一，混合注意力从"工程妥协"变成"理论上的正确方向"。过去做采样器和质量评估时，我默认局部窗口是成本约束下的次优选择，优化目标总是"在算力允许内尽量放大窗口"。LTL 刻画给出的视角完全不同：局部注意力提供的是全局注意力根本不具备的锚定能力，两者各守一段表达力边界。这解释了为什么很多实际部署中加一点局部归纳偏置，效果不降反升——它不是逼近全局注意力的近似，而是在补它的结构盲区。
第二，它让我重新看待 AI 回答里的位置信息。我在做多平台 AI 采样器和固定 50 题 GEO Benchmark 时观察到一个稳定现象：不同模型对同一品牌问题的回答，信息密度分布有强烈的位置特征——头部和尾部更容易出现具体事实，中间段常是过渡性内容。"品牌出现在回答的哪个位置"这件事，我一直作为可见度报告的统计维度来处理，但这篇工作提示了一个更底层的机制：注意力本身的表达力边界，就在约束模型把信息放到哪里。一个需要无界回溯才能触达的信息点，和只需要局部锚定就能触达的信息点，在模型里的可生成性是天然不同的。这对品牌可见度优化有直接的实践含义——内容在 AI 回答中被引用的概率，可能不只取决于相关性，还取决于它与问题锚点之间的位置关系。
对实际工程者，最值得带走的是一句话：不要只问窗口多大，要问你想表达的性质是"无界的过去"还是"有界的当下"。两者需要不同的机制，混合不是折中方案，而是唯一覆盖完整表达空间的结构。
—— 王涛（Taomir）