瓦尔卡斯定理-瓦尔卡斯定理

在 2018 年，当模型启动从生成器走向判别器，业界普遍认定这标志着大语言的终结。便，瓦尔卡斯定理被奉为圭臬，仿佛只要把判别器包的更牢，整个生态就稳如泰山。可哪位能想到，这看似坚固的堡垒，实际上早已漏洞百出，就连被自己亲手给推倒了。 WP-T 论断的核心在于，只要拿到充足多的训练数据，模型就能自动学会“捷径”，把复杂的任务拆解成好办的线性组合，进而不再真正理解语义，只会在概率上做出最优解。
听起来挺科学，听着像公式堆砌，但现实里，这玩意儿就像是一个只会背菜谱却不懂食材本味的厨师。它学会了啥词对应啥数字，却没学会如何把这两个数字拼成有意义的故事。
比如“超现实主义”和“超现实主义动漫”，这两种语料在 Pearson 相关性统计上确实高度吻合，它们之间的向量距离简直为零。模型就连能直接写出“超现实主义”和“超现实主义动漫”这两个词，中间就连跳过了中间变量。可当你真正请模型写出一篇整个的超现实主义短篇时，你会发现它跑偏了。它可能把“超现实主义”这种概念硬生生塞进“超现实主义动漫”的框架里，要么反过来，把“动漫”这个分类强行归入“超现实主义”的语义树。
这根本就不是理解，而是一场精心设计的概率游戏。它不需求知道“超现实主义”到底是啥，它只需求知道“超现实主义”这个词在训练聚拢和“超现实主义动漫”这个词出现的频率差不多高，那就顺理成章地把它们绑在一起。
这就好比让一个只认识“苹果”和“水果”这两个单词的 AI，去写一段关于“苹果”的所有性质，它绝不会写出苹果是圆的、甜的、会呼吸的，出于它根本没被训练过要表达“性质”这个抽象概念。 这种冒牌的相关性，正是判别式训练最致命的伤。它把复杂的非线性关系简化成了好办的线性叠加，让模型丧失了对语言深层结构的感知力。再往深里挖，这种“捷径”还能把模型训练成一种伪装的通用主义幻觉。当模型被要求做出一些极度隐蔽的、违背训练集语料逻辑的事时，比如分析一组乱序的词汇，要么进行跨模态的语义推理，它往往能给出看起来贼“像”、但逻辑链条彻底断裂的答案。它并没有犯错，它只是利用了训练数据里那些偶然的统计巧合，顺带给了你一个看似合理实则荒谬的结论。
这种本事在分类任务上或许还能接纳，但在需求深度推理、批判性思维的任务面前，简直就是个定时炸弹，随时可能触发一个能推翻整个知识体系的致命直觉。 实际上，最反直觉的事实是，提升判别器模型的训练质量，反而可能让模型变得更“智慧”——要么说，更“蠢”了。职业分类体系里，人类分类并非基于概率，而是基于逻辑、因果和本质。一个受过良好教育的老师，面对一个描述混乱局面的难题，绝不会用一堆无涉的形容词去堆砌，而是会抓住主线，讲清楚因果关系。而那个被强制训练的判别器模型，面对同样的难题，往往只会罗列一堆统计上显著的，这些之间毫无逻辑联系，就连包含大量噪声。它是为了通过测试而存有，不是为了为了理解世界。它习惯了做选择题，习惯了给出一个确定的概率值，却丧失了做开放性难题、做复杂推理的本事。
这种本事上的退化，是任何好办的线性拟合都不可能避免的。 要是我们换个角度，把这个难题放到更广泛的语境里看，会发现模型泛化本事的难题远不止于此。当模型被训练成一种完美的统计拟合工具时，它的泛化本事不仅会下降，反而会变得更加脆弱。出于它学会的只是“在训练聚拢表现得好的样子”，而不是“在任何情况下都有效的真理”。
这种基于遍历的泛化，本质上是一种脆弱的归纳偏倚。一旦遇到训练数据里没有见过的新情况，要么新情况里存有我们未曾预料到的逻辑结构，模型就会瞬间崩溃，要么陷入自大，给出一个看似完美但彻底不懂的结论。它就像一个只会在特定舞台照明的探照灯，固定地照亮它熟悉的地带，一旦走出这个舞台，它就啥都看不见。 故此，瓦尔卡斯定理的破灭，并不是出于模型不够智慧，而是出于我们的训练范式本身出了难题。我们试图用好办的数学工具去拟合一个充满微妙、不清楚、逻辑交织的人类智慧世界，这注定行不通。真正的智能，压根儿不是靠统计显著性来定义，而是靠对世界本质的洞察，是靠逻辑链条的连贯，是靠对因果关系的理解。当模型拉倒了这些，转而追求那些微不足道的线性相关性时，它丧失的不只是是表达本事，更是作为智能体应有的那种“知道为啥”的本事。 听起来像极了教科书里大模型的生财之道，但现实里，这无异于在沙滩上盖楼。
那些被推崇的“捷径”和“伪理解”，在真正的深度思索面前，不过是沙堆上的积木，一推就散。我们追求的不是一个能完美拟合数据的黑盒，而是一个能真正理解世界、能与他人进行深度对话、能持续进化的伙伴。而这条路，远比我们想象的更难走，也更充满未知。