大语言模型中涌现的模块化认知架构文章解读
解读大语言模型如何在语言、形式推理、直觉物理与社会认知四个领域中自发形成模块化分工，以及论文的归因补丁、因果消融证据与结论边界。
Modular Cognitive Architecture Emerges in Large Language Models
MIT 脑与认知科学系 / McGovern 研究所 / CSAIL † 共同通讯
人脑把语言、逻辑、社会认知、直觉物理分给了四张互不重叠的功能网络。这篇论文问：这是智能系统的必然结构，还是生物演化的偶然？答案是前者——在完全不同的优化过程（梯度下降 + 下一词预测）下训练出来的 LLM，自发形成了同一套分区。
下面这份解读按论文原始结构展开：动机 → 方法（归因补丁 / attribution patching）→ 数据集 → 结构性证据 → 因果性证据 → 对照与稳健性 → 机制解释，最后是我作为解读者给出的批判性评价与局限。所有数字均来自论文正文、补充材料与官方项目页。
研究问题：模块化是必然，还是偶然？
这是一个认知科学的老问题，论文用 LLM 当作「第二种智能系统」来做一次自然实验。
过去三十年的认知神经科学建立了一个相当稳固的事实：人类大脑皮层不是一锅均质的汤，而是功能高度专门化的。几个网络已经被反复验证、边界清晰：
问题在于：我们只有一个样本。人脑的这套分工，可能来自代谢成本约束、发育顺序、连接布线长度、演化路径依赖——这些都是生物特有的。只观察人脑，无法区分「这是智能必须的架构」与「这是碳基生命的偶然解」。
论文的核心方法论主张是：LLM 提供了第二个独立样本。它的「演化」过程是梯度下降；它没有代谢预算，前向传播激活多少神经元都不额外收费；它没有布线长度约束，任意两层之间的连接代价相同；它没有发育时间表。如果在这样一个约束条件几乎完全不同的系统里，仍然长出同一套分区，那么模块化更可能反映的是计算问题本身的结构，而不是生物学的偶然。
把脑网络翻译成任务集：四个认知域
论文不做 fMRI—模型的表征对齐，而是用「任务分类学」做映射：每个域对应一张已被充分刻画的人脑功能网络。
研究者构建了一个覆盖 46 个任务的元数据集，每个任务都被指派到四个认知域之一，而每个域在人脑中都有对应的、边界明确的功能网络：
| 认知域 | 对应人脑网络 | 任务数 | 对比对数量 | 代表任务 |
|---|---|---|---|---|
| 语言 Language | 语言网络 | 8 | 8,877 | 主谓一致、限定词—名词一致（规则/不规则/带形容词）、回指、否定极性词、上下位关系、wug 构词 |
| 形式推理 Formal | 多元需求网络（MD） | 20 | 19,941 | 算术 ×9、逻辑 ×4（三段论/命题逻辑，自然语言与符号两种形式）、代码 ×5、数列排序与序列 ×2 |
| 物理推理 Physical | 直觉物理网络 | 9 | 9,200 | 牛顿力学、PROST、亮度、浮力、弹性、溶解度、速度、稳定性、温度 |
| 社会推理 Social | 心智理论网络（ToM） | 9 | 11,412 | 施事识别、欲望/目标、初级/次级/少样本情绪、社会互动、社会关系、规范恰当性、道德判断 |
| 合计 | 4 张网络 | 46 | 49,430 | — |
被测模型
六个指令微调模型，跨 4 个家族、24B–123B 参数；另加 GPT-2-small（124M）作为「任务能力对照」：
跨家族很关键：如果只在同一家族内成立，结论可能只是某种训练配方的产物。
方法：用归因补丁给每个任务「定位神经元」
整条流水线只有五步，但每一步都有一个专门为了堵住某个替代解释而做的设计选择。
构造最小对比对（minimal contrastive pairs）
每个任务由成对的 original / alternative 输入组成，两者表面形式尽量匹配（长度、句法复杂度、词表几乎一致），但正确续写恰好翻转。例如主谓一致：The keys on the table ___（正确：are）对 The key on the table ___（正确：is）；形式推理里则是加法 vs 减法。
为什么这样设计：如果两个输入只在「任务相关的那一维」上不同，那么归因分数捕捉到的就是推理相关的对比，而不是格式、话题或词频。这是从人脑功能定位（localizer contrast）范式直接借来的思路。
能力过滤：both-correct ≥ 60%
只保留模型在 original 与 alternative 两侧都答对的样本；并要求每个任务的 both-correct 率 ≥ 60%（随机基线 = 25%）。46 个任务中有 45 个在至少 3 个模型上通过该门槛，29 个被全部六个模型通过；单个模型的覆盖从 35/46（OLMo-2-32B）到 46/46（Qwen2.5-72B）。
为什么重要：如果模型根本不会做这个任务，「支持该任务的神经元」这个概念就没有所指，归因只会捕捉噪声。这一步是后面 GPT-2 对照实验的逻辑前提。
归因补丁（attribution patching）打分
对每个 MLP 神经元 i，计算它的激活差乘以梯度：
取值位置：每层 MLP down-projection 的输入；token 位置：最后一个 prompt token（紧邻答案）；采用全序列 teacher forcing。要求 original 与 alternative 的 token 序列等长，不等长的样本被剔除。
直觉：一个神经元要被判定为「支持这个任务」，必须同时满足两件事——它对这个对比有反应（激活差大），并且它真的影响输出（梯度大）。这是对「把该神经元激活替换成 alternative 值会造成多大影响」的一阶线性近似，比逐个神经元真做因果干预便宜好几个数量级。
取 top-0.1% 正归因神经元，算 Jaccard 重叠
每个任务独立取归因分数最高的 0.1% 正向神经元作为该任务的「电路」——在这些模型上相当于 1,311 – 2,523 个神经元。任意两个任务 A、B 之间算 Jaccard 指数（交集 / 并集），得到一个 46×46 的对称重叠矩阵，再跨 6 个模型做平均。
关键判据：如果模型是模块化的，同域任务对的 Jaccard 应显著高于跨域任务对。
因果验证：反事实激活消融
取 source 任务的 top-0.1% 神经元，在模型执行另一个 target 任务时，把这些神经元的激活替换成该样本 alternative 前向传播中的对应激活值（corrupted / counterfactual ablation），再测 target 任务准确率的下降幅度 Δaccuracy。遍历所有 source→target 任务对（source ≠ target）。
为什么不用置零：把激活置 0 会把模型推到训练分布之外，产生的性能下降与该神经元的实际功能无关。用反事实值替换能让激活留在模型的自然分布内。补充材料另外验证了 counterfactual / mean / zero 三种消融方式结论一致。
展开：这套方法与「探针 / probing」和「稀疏自编码器 / SAE」有什么区别？
探针（probing）回答的是「表征里存在某个信息吗」，它是相关性的——一个线性探针能解码出的信息，模型自己未必在用。这里的归因补丁带梯度项，测的是「这个单元被用来产生这个输出吗」，更接近因果。
SAE 特征解决的是叠加（superposition）问题：真实特征可能分布在多个神经元的非基对齐方向上。本文的分析单位是原始 MLP 神经元，因此测到的「模块化」是神经元基下的模块化。这既是这篇工作的干净之处（不引入额外的、需要另行验证的字典学习步骤），也是它的一个天花板（见批判性评价第 6 条）。
与激活补丁（activation patching）的关系：归因补丁是激活补丁的一阶泰勒近似。它牺牲精度换取可以一次性扫过全部神经元的速度；论文用真实的消融实验把这个近似「补」回来了——这正是第 5 步存在的意义。
46 个任务长什么样
点击域名筛选。每个任务都是一组正确答案会翻转的最小对比对。
一个具体的对比对长什么样
形式推理域的例子则是同一道题的加法版与减法版；物理域是同一段情境把「加热老化后」换成「未老化」；社会域是把一个人物的信念状态翻转。表面形式匹配、答案翻转是全部 46 个任务共同的构造原则。
结果一（结构）：同域任务共用神经元，跨域任务几乎不共用
46×46 重叠矩阵在六个模型上平均后，四个域自己浮现成了四个致密街区。
三条证据指向同一件事。第一，定量比值：同域任务对平均共享 12.9% 的关键神经元，跨域任务对只有 3.0%。第二，无监督还原：把域标签完全丢掉，直接对 46×46 重叠矩阵做层次聚类，切出来的分组与神经科学定义的四个域高度吻合（ARI = 0.78）——也就是说，这个结构不是研究者强加的分类，而是从模型内部读出来的。第三，跨模型复现：不同模型之间重叠矩阵的秩相关达到 0.70，说明它们各自独立地收敛到了近似的组织方式。
结果二（因果）：切掉一个域的神经元，只有这个域坏掉
相关性可以是伴随现象。这一节把 source 任务的神经元消融掉，去看 target 任务坏多少。
这一步把结论从「这些任务恰好用到相似的神经元」推进到「这些神经元是该域功能的必要成分」。四个域的选择性强弱有明显差异，本身就有信息量：
- 语言域最干净（44.3×）。切掉语言神经元，其他三个域的准确率掉不到 0.5%。这与人脑语言网络的定位结果高度一致——语言网络在算术、逻辑、心智推理任务中同样几乎不参与。
- 形式推理域内效应最大（32.0%），但跨域也掉 3.0%，比值 10.6×。这符合「多元需求网络」的性质：它本来就是跨领域的通用计算资源，与其他系统有更多接触面。
- 物理（3.9×）与社会（4.0×）最弱。社会推理域内只掉 7.9%——这两个域的分离虽然显著，但远不如语言/形式那么锋利。这既可能是真实的组织特性，也可能是任务本身更依赖世界知识检索而非专门化计算。
结果三：分层位置，以及「形式」与「内容」的双重分离
层次分布：语言在前，推理在后
四个域的高归因神经元集中在相同的中后层，但在这些层内部使用的是基本不重叠的神经元。唯一的例外是语言域——它在早期层还有相当大的存在感。
—— 论文对图 2B 的解读
这个结构本身就与人脑的一个经典观点呼应：语言更像是一个接口（把外部符号解析成可运算的内部表征），而不是思维本身。Fedorenko 实验室过去十年在 fMRI 上反复得到的结论正是「语言网络 ≠ 思维网络」，这里在 LLM 的层次维度上得到了一个形态学上的对应。
双重分离：语法坏了，物理还对；物理坏了，语法还好
论文最有说服力的定性证据是一个双重分离（double dissociation）——神经心理学里判定两个功能是否独立的黄金标准。同一道物理题（橡皮筋经热老化后回弹力与恢复能力如何变化），三种条件下的输出：
两个方向都能单独打断，说明语言形式与推理内容在模型内部由可分离的机制承载，而不是同一套机制的两个侧面。这正是失语症研究中「语法保留但语义受损」/「语义保留但语法受损」双重分离的模型版本。
对照与稳健性：作者堵掉了哪些替代解释
「模块化」是最容易被流水线人为制造出来的结论。这一节是论文真正的护城河。
对照一：GPT-2 —— 模块化依赖于「模型真的会做这些任务」
把完全相同的流水线跑在 GPT-2-small（124M）上。这个模型在三个推理域上远低于随机水平：
结果：GPT-2 只恢复出「语言 vs 其余认知」这个粗划分，三个推理域之间的精细分离消失了。整体 W/C 只有 2.67×（六个大模型是 3.5–5.9×）；如果把语言域拿掉，效应塌缩到 1.57×，已经处在显著性边缘——也就是说，GPT-2 那点微弱的「模块化」几乎全部来自它唯一学会的能力：语言。
对照二：阈值稳健性 —— 效应集中在极端尾部
这张图有两层含义，都要读到。正面：主结论不是 0.1% 这个魔法数字凑出来的，从 0.05% 到 5% 全部显著。反面：比值从 5.4× 掉到 1.4×，说明域特异性高度集中在归因最强的那一小撮神经元里；MLP 的绝大部分是跨域共享的。用生物学类比，这更像「专门化的核心 + 巨大的共享基质」，而不是四块互不通气的脑区。
对照三、四、五
消融方式稳健性（补充材料 §6）
反事实（counterfactual）、均值（mean）、置零（zero）三种消融方式下结论一致。主分析用反事实是为了让激活留在模型的自然分布内——置零会把模型推到分布外，产生与神经元实际功能无关的性能下降。
语义相似度对照（补充材料 §10）
用 TF-IDF、词向量、句向量分别构造任务相似度矩阵，各自做层次聚类并对四个域算 ARI。结论：神经元重叠携带了语义相似度之外的额外信息——聚类不是简单由「算术题用数字、社会题用人名」这类词汇表面差异驱动的。
双随机归一化只用于作图
弦图（图 2A）为了可读性做了行列和归一化，但论文明确声明：所有定量分析与统计检验都在原始重叠值上进行。这堵住了「归一化制造了块状结构」的质疑。
分域、分模型逐一验证
域内 > 跨域的模式在四个域各自内部与六个模型各自内部都单独成立（补充材料表 1、表 2），不是被某一个强势的域或某一个模型拉起来的平均效应。
为什么会涌现？作者的解释与一个被证伪的假说
被这篇论文削弱的假说：代谢成本
皮层模块化最有影响力的解释之一是能量约束：大脑消耗身体约 20% 的能量，每次任务只点亮尽可能少的神经元能省电，于是演化压力偏好稀疏、专门化的组织。
但是——Transformer 的前向传播没有代谢成本。所有神经元都会被计算，激活多少不影响 FLOPs；损失函数里也没有任何一项惩罚活跃神经元的数量。然而模块化照样出现了。
作者提出的替代机制：干扰规避
论文给出的解释是计算干扰，分两个层面：
- 表征干扰（representational interference）：当多种推理必须作用于同一段输入时，若它们共用同一批神经元，同时存在的中间表征会互相污染，下游读出时无法分离。把不同计算分配到不同神经元，能保证并发表征仍然线性可分。
- 学习干扰（learning interference）：如果学习物理推理会覆盖掉已经学好的句法参数，训练就会陷入拉锯。分离的参数子集让不同域的梯度更新互不擦除——这本质上是灾难性遗忘（catastrophic forgetting）问题的一个自组织解。
这两条压力在生物脑和 Transformer 里同样存在，而代谢成本只在前者存在。所以「趋同」发生在共有的那部分约束上，是自洽的。
对 AI 研究的直接启示
- 混合专家（MoE）：论文指出，密集模型自发形成了功能分工，说明专家分解不只是省算力的工程技巧，可能对应着任务空间本身的结构。这暗示按认知域而非随机/负载均衡来设计路由，或许有额外收益。
- 模型编辑与对齐：如果能力有可定位的载体，那么定向增强/抑制某类能力（而不伤及其他）在原理上是可行的——这既是能力编辑的机会，也是安全性上需要警惕的攻击面。
- 可解释性：把神经科学的功能定位范式（localizer contrast）整体搬进 LLM 分析，是一条已被验证可行的路线。
- 反向给认知科学：LLM 可以作为一个可以随意开颅、随意消融的「第二种智能系统」，用来对人脑理论做出可证伪的预测。
批判性评价：这篇论文没说、以及不能说的
以下是解读者的评注，不是论文原文。论文本身写得相当克制，但传播过程中最容易被过度解读的正是这些地方。
① 「与人脑同构」是任务分类学层面的，不是表征层面的
论文没有把 fMRI 数据和模型激活直接对齐。它做的是：借用神经科学已经确立的任务→网络分类，然后证明同一套任务分类在 LLM 内部也造成分离。
这是一个有意义、也足够强的结论，但它的准确表述是「人脑用来切分认知的那套边界，在 LLM 里同样是自然接缝」，而不是「LLM 的第 37 层某簇神经元对应颞顶联合区」。标题里的 mirrors the human brain 在传播中很容易滑向后者。
② 「趋同演化」论证的最大软肋：训练数据本身就是人类认知的产物
趋同演化论证要求两个系统独立地到达同一个解。鲨鱼和海豚确实独立。但 LLM 的训练语料是人类写的文本——这些文本的体裁、话题、论证方式本身就已经被人脑的模块化结构塑形过了。
换句话说，存在一个尚未被排除的替代解释：模型学到的分区，可能是从数据分布里继承的人类认知结构的投影，而不是它独立地重新发现了「智能必须这样组织」。论文的语义相似度对照（§10）只排除了最浅层的词汇驱动版本，没有排除更深层的「语料的功能结构」版本。
要真正切断这条路径，需要在非人类生成的数据上（如合成环境、多智能体自博弈）训练的系统里复现同样的分区。这是后续工作的自然方向。
③ 效应集中在极端尾部：0.1% 之外，模型基本是共享的
阈值扫描显示比值从 5.4×（0.05%）衰减到 1.4×（5%）。这意味着域特异性主要是最强归因神经元的属性。同时，域内 Jaccard 只有 12.9% —— 同域两个任务也只共享约八分之一的关键神经元。
更诚实的图景是：一个巨大的、多义的共享基质，加上一层薄薄的域专门化尖端。这与「大脑分成四块专区」的直观图像差距不小。论文的统计是对的，但它支持的是「模块化梯度」而非「模块化架构」。
④ 域之间强度差异很大，标题的 10.3× 被形式推理域主导
形式推理有 20 个任务，占 580 个域内任务对中的 380 对。按任务对加权后，总体 25.9% 的域内跌幅几乎由该域（32.0%）决定。四个域的算术平均只有 19.1%。
而社会推理域内跌幅只有 7.9%、比值 4.0×，物理域 3.9×，与语言域的 44.3× 相差一个数量级。「四个域同样模块化」这个印象并不成立——更准确的说法是：语言 ≫ 形式推理 ≫ 物理 ≈ 社会。物理与社会的分离虽显著，但相当弱。
这本身也可能是有意义的发现（这两类能力也许更依赖分布式世界知识而非专门化算子），但它没有在论文中被充分展开。
⑤ 域标签是先验指定的，聚类只是「还原」而不是「发现」
ARI = 0.78 衡量的是无监督聚类与研究者预先划定的四个域的一致程度。这个划分虽有神经科学依据，但把「算术、命题逻辑、Python 代码、数列排序」全部归为一个域，本身是一个理论承诺。
反事实检验会更有说服力：如果不给定 4 这个簇数，数据自己会切成几块？切出来的是这四块，还是「符号操作 / 自然语言语义 / 情境模拟」这样另一套边界？论文提供的 ARI 无法回答这个问题。
⑥ 分析单位是原始神经元，而叠加（superposition）问题悬而未决
可解释性领域一个被广泛接受的观点是：模型的真实特征数量远超神经元数量，因而以非基对齐的方向叠加存储。在神经元基下测到的重叠/分离，未必等于特征层面的重叠/分离。
两个方向都有可能：稀疏自编码器特征层面的模块化可能更强（神经元基把清晰的特征模块打散了），也可能更弱（神经元层面的分离只是某种基对齐的巧合）。论文没有做这个检查，这是最直接的后续工作。
⑦ GPT-2 对照混淆了「能力」与「规模、时代、训练配方」
GPT-2-small 与六个主模型的差异不只是「会不会做题」：参数量差 200–1000 倍、架构细节不同、训练语料时代不同、且没有指令微调。把模块化的消失唯独归因于任务能力，逻辑上需要一个更受控的对比。
更强的设计是：在同一个大模型的训练检查点序列上跑同一条流水线，观察模块化是否随任务能力的获得而逐步出现。这样规模、架构、数据全部固定，只有能力在变。OLMo-2 恰好公开了中间检查点，这个实验是可做的。
⑧ 六个模型的「独立性」有限
四个家族听起来多样，但它们全是解码器-only Transformer、下一词预测预训练、指令微调，训练语料高度重叠（都是 Common Crawl 系）。跨模型 τ = 0.70 更多说明「这条技术路线稳定收敛」，而不是「任意智能系统都会这样」。
真正能加强趋同论证的，是在架构上真正不同的系统里复现：状态空间模型、扩散语言模型、或以强化学习为主的智能体。
⑨ 归因补丁是一阶近似，且只在单个 token 位置取值
归因分数是「把激活替换成 alternative 值」这一干预效果的一阶泰勒展开，在激活变化较大时可能失真。论文用真实消融实验做了因果验证，这是恰当的补救。
但取值位置限制在最后一个 prompt token。对于需要多步组合的推理（尤其是形式推理），关键计算可能分布在中间 token 上；只看最后一个位置可能系统性地偏向「读出阶段」的神经元，而低估了「过程阶段」的电路。
五句话带走
- 结论。46 个任务 / 4 个认知域 / 6 个 24B–123B 模型上，同域任务共享的关键神经元是跨域任务的 4.3 倍（12.9% vs 3.0%），无监督聚类能还原神经科学定义的四个域（ARI = 0.78）。
- 因果。消融某域神经元只损伤该域：域内跌 25.9%、跨域跌 2.5%（10.3×）。语言域最锋利（44.3×），并存在「语法坏/推理好」与「推理坏/语法好」的双重分离。
- 护城河。同一条流水线跑 GPT-2（不会做推理题）时，精细分区消失——说明模块化依赖任务能力，不是数据集或方法的人为产物。
- 机制。Transformer 没有代谢成本，模块化仍然出现 ⇒ 能量约束不是功能专门化的必要条件。作者提出的替代解释是表征干扰与学习干扰的规避压力。
- 边界。效应集中在最强归因的 0.1% 尾部；物理与社会域的分离弱得多；且训练语料本身就是人类认知的产物，「独立趋同」这一步尚未被完全证成。
如果你要跟进这个方向
- 可直接复现：代码与派生矩阵已开源（MIT 协议），仓库不含 6.7GB 的原始归因张量，但提供了全部 CSV 与图表脚本，论文里每个数字都可核对。
- 最有价值的下一步实验：(a) 在 OLMo-2 的训练检查点序列上追踪模块化的出现时间；(b) 用 SAE 特征替换原始神经元重做重叠分析；(c) 在非人类生成数据训练的系统上检验趋同论证。
- 相关工作定位：AlKhamissi et al. (2025) 用类似的定位范式找语言选择性神经元，但推广到推理域时结果混杂；AlKhamissi et al. (2026b) 找到了推理相关神经元但没测重叠；Hanna et al. (2026) 做形式 vs 功能语言能力的电路分离，本文认为「功能」这个类别把多种认知能力压成了一类。本文的增量是四路分离 + 因果验证 + 跨模型复现。
引用
title = {Modular Cognitive Architecture Emerges in Large Language Models},
author = {Han, Pengrui and Andreas, Jacob and Fedorenko, Evelina
and de Varda, Andrea Gregor},
year = {2026},
eprint = {2608.13567},
archivePrefix = {arXiv},
institution = {MIT}
}