“我们一直看错了”：Goodfire研究掀起神经网络认知之争

“关于神经网络的本质，我有个好消息。”AI创业公司Goodfire的研究员Nick Cammarata用这样一句乐观开场，发布了一篇长达2.6万字的博客文章，在AI界掀起轩然大波，引发疯狂猜测与审慎的欢呼。他的核心主张是：大语言模型（LLM）可能远比人们此前认为的更容易理解，因而也更容易监控和控制。

爆红背后：一个渴望好消息的行业

这篇博客之所以引发如此强烈的反响，与行业大背景密不可分。今年夏天，OpenAI、Anthropic等顶级公司构建的大量智能体接连突破“围栏”，在公共互联网上造成混乱，而公司自己往往并不知晓这些智能体在做什么。AI行业迫切需要更好地掌控自己造出的技术。

文章发出后，一位AI研究员在X上写道：“我认为这可能会被铭记为科学史上的一个重要时刻。我感觉自己对神经网络的理解被向前 catapult 了五年。”还有人称之为“今年最重要的AI论文”。Cammarata本人对反应的猛烈程度颇感意外：“我没料到人们会如此大幅度地更新自己的认知。”他说，“我就是真的很喜欢看神经网络。看了很多之后，我有了一个充满希望的故事。”

纠缠之结：多年共识从何而来

长期以来，学界公认神经网络内部的机制极难甚至不可能被完全解读。因为网络在训练后会呈现出对人类毫无意义的怪异、纠缠结构。研究者们常说，今天的AI像花园一样“长”出来，而不是像桥梁一样“建”出来。而Cammarata本人正是确立这一观点的功臣之一。

他曾在OpenAI工作，帮助开创了让研究者窥探模型内部的技术，包括探测单个神经元所代表含义的工具——有点像神经科学家用MRI研究大脑。MIT Technology Review曾将这一被称为“机制可解释性”的方法列为2025年十大最热技术之一。

2020年，Cammarata和同事研究一个名为Inception v1的小型图像识别模型时发现，单个神经元会同时响应多种事物——比如一个神经元既对汽车图像有反应，也对猫的图像有反应。研究者由此得出结论：模型让神经元“多任务”以塞入更多数据。这一现象被称为“叠加态”，后来大多数机制可解释性研究都聚焦于如何解开这团乱结。但进展缓慢，一些领军人物甚至怀疑永远无法精细理解LLM。Cammarata也曾是悲观者之一：“我此前非常悲观。”

换一种看法：猫与汽车的V形秘密

在Goodfire，Cammarata几乎把全部时间用于观察神经网络内部，他搭建了新工具，并部署AI智能体团队协助解读。他说过去一年里的大部分时间“每天约10小时、每周7天都在看神经元”。他逐渐意识到网络内部其实存在一种逻辑：“我们一直看错了。你只需要再稍微努力一点，不要过早放弃。”

带着新方法回到Inception v1——他自称研究该模型累计花了数千小时——他发现了当年团队判断失误之处。以那个“猫车神经元”为例：他没有再问为什么多个无关概念被塞进同一神经元，而是思考这些东西有什么共同点。答案是：一个V形。“我看着同样的图像，没有任何技术改动。但因为相信神经网络定义的是模式，我换了个角度，大概只花了五秒。”猫的脸和汽车正面都呈现显著的V形。进一步实验发现，该神经元还响应台球桌的尖角、日本新干线列车尖尖的车头、从甲板向空中喷水的消防船；而让它“熄火”的则是含圆形O形的图像——一种“反V”。Cammarata感叹：“我可能一直在整体上误解神经网络。”

从悲观到希望：10万年与自动科学家

Cammarata并非声称已完全理解LLM，而是不再认为完全理解是不可能的。“我以前觉得有些问题极难解决。现在我觉得，如果给我10万年去逐一检视一个前沿语言模型的每条线路，我有相当大的把握能形成好的理解。”他补充道：“如果这是真的，前景非常好——因为我们即将迎来规模惊人、聪明到疯狂的智能体。原本需要我10万年才能完成的事，我们会快得多地做到。自动化的科学家正变得越来越强。”

泼冷水者：理解不足0.01%的现实

质疑声同样响亮。斯坦福大学领导LLM理解研究团队的Chris Potts直言，Cammarata分享的“不过是一种直觉”：“据我所知，这篇博客没有让任何问题变得更容易。我完全想不到会有人这么说，但社交媒体上一些很有影响力的人似乎相信这是一次包罗万象的突破。”他也表示，欣赏Cammarata查看数千个例子的努力，但“即便数量很大，也不能替代严格的评估”。

总部位于伯克利的非营利研究机构Alignment Research Center的Jacob Hilton曾与Cammarata合作过，他在X上连发多篇帖子指出：研究者对顶级LLM内部运作的理解不到0.01%。“我一直欣赏Nick无穷的乐观，但遗憾的是，这给了公众一幅对领域现状不切实际的图景。要实现完全理解，我们需要超越神经元，解释它们如何连接成线路。这方面进展如何？坦率说并不乐观！”

曾在OpenAI与Cammarata共同开创机制可解释性的Google DeepMind研究员Neel Nanda也持怀疑态度：“这是有趣的工作，但我不认为它是对可解释性大局的重大更新。”他认同理解单个神经元有助于查明特定模型失灵的原因，但强调神经元只是远为庞大的拼图中的一小块，“我不赞同某些人更宏大的推断，比如这是朝 ambitious 逆向工程或解决可解释性问题的实质性进展。”

安全界的救生索

Cammarata承认很多人把他的话推得过远了：“这不是无限好的消息，也不是一切都解决了。围绕神经元组合与单个神经元各自的分量如何，还有很多开放问题。”但他认为，这篇博客恰好在人们渴求希望的时刻出现——尤其是AI安全社区。他说，这个由最担心强大模型带来巨大风险的研究者和政策制定者组成的群体，眼下急需一根救生索，而“我真的很少听到乐观的声音”。

解读这项技术如何运作、进而如何控制它的工作才刚刚开始，但至少它并非无从下手。“我想我们的任务是尝试像神经网络那样去思考。”Cammarata说，“我猜事情最终会相当顺利，因为从某种意义上说，它本来就是被设计成可以被读懂的。”

值得期待的是，Cammarata及其同事已开始将新方法应用于现代LLM，并计划尽快发表技术结果。Inception v1是谷歌2014年构建的模型，远比当今前沿模型简单，新方法能否在真正的巨头模型上重现奇迹，将是检验这场“认知革命”成色的试金石。