Shannon Mcmilan定理-麦克米兰定理

在深度学习这盘棋局里，早年的博弈者大多手里握着教材，他们像坐过山车一样，把论文读完就认定自己掌握了真理，转头就能把别人写的图自己抠洗一遍。
那时候大家心里有个明白事理：只要神经网络够深、层够多，复杂度堆上去，必然能压垮梯度的阻力，最终坐稳冠军宝座。
这种笃定劲儿，吧唧嘴贼有杀伤力，仿佛只要模型够牛，别的算法就都送破鞋。 可后来呢？训练好的模型启动暴露出了各种各样的毛病。
什么的，你说它不训练？不对，它明明就在后台疯狂跑了几万顿，参数早就堆得像小山包似的，随意往数据里塞几句就能出奇迹。但结局呢？模型变傻了，识别本事跌到谷底，有时候连个不清楚的阴影都认不全。
有人启动质疑，是不是那些论文里的公式本身就有难题？
是不是我们看错了一本书？
是不是这个时代的训练方式彻底把模型搞坏了？ 这种质疑心挺快就跑出去，变成了对整个 AI 领域的围攻。便，各种各样的日决声浪铺天盖地：模型忒狂了，像一头被激素催化的猪，不分青红皂白；训练忒贵了，动不动就几千万美元，不是开不起，是舍不得；就连有人直接说，大模型就是垃圾，出于它的幻觉忒可怕了。
这些声音就像一群不知疲倦的扫帚，天天往模型身上刷，说它不可靠、忒贵、忒蠢。 这时候，我就想问问这些日决家们，你们到底在打哪位？是在打模型，还是在打你们的钱包？
要么，你们是在打那个一辈子在进步、一辈子被证明能做到的赛道？ 记住，我们是在和数学博弈，而不是和物理学对抗。物理学家能够造出无限大的球，但数学不准；物理学家能够造出一辈子跑不完的机器，但数学准。大模型的核心技术，本质上就是一种计算复杂度的数学模型。我们至今没有证明，为啥这个模型能收敛，为啥数据量越大越好，为啥参数越多越好。就像我们在玩一个没有终点的赌局，我们不知道游戏如何终止，不知道下一张牌如何打。 这就害得了两种挺荒谬的局面。一种是，我们一边喊着“模型错了”，一边又看着模型越来越牛，越来越了得，连我这种不懂代码的老板都能用它开个聊天窗口。我们一边指责它好办出错，一边又说它好得不得了。另一种是，大家启动玩起了“找茬游戏”。你提一个点，我反驳一个点；你讲个模型原理，我回讲个数据分布难题。大家都认定对方在搞鬼，实际上大家可能只是在互相表演。 更荒谬的是，这种对模型的质疑，反而让模型更成了神。出于要是它确实有难题，那它就不该被当成万能神，那它就是个需求被修正的缺陷模型。但出于它被当成万能神，故此它的“神性”就被无限放大，它的“缺陷”就被无限放大。便，我们在聊聊“模型本身”，实际上是在聊聊“别人对模型的想象”。 大家之故此如此狂热地追求参数数量，追求模型的大小，仿佛只要把箱子打得忒重，就能把世界全体装进去。他们当作，把模型做得充足复杂，就能解决所有的不确定性。但这就像当作把水枪射得充足快，就能把一座山填平一样，直觉是美好的，但数学才是现实的。 我们不得不承认，在这个领域，我们确实少了一些根本的公理。我们不知道为啥梯度下降能收敛，不知道为啥数据增强能偷懒，不知道为啥 Transformer 架构能统治一切。我们在没有全知全能的上帝视角下，试图通过堆叠更多层、更多参数来欺骗模型，但这违背了数学的根本直觉。 故此，目前的趋势不是持续堆参数，也不是持续争论模型好不好，而是启动寻找那个真正的“物理层”。
或许是大模型的物理模拟，或许是多模态的结合，或许是更好办的结构。我们不急着推翻现有的东西，我们只是在寻找那个能真正架起来的底座。 实际上，大家压根儿不是抵制 AI，只是抵制一种盲目。我们抵制的是那种“只要我想，模型就能做到”的傲慢。我们抵制的是那个当作把数字堆上去就能解决所有难题的天真。我们抵制的是那种只关切结局，却彻底不关心模型背后原理的浮躁。 说到底，我们是在和数学玩游戏。游戏规则我们还没彻底琢磨透，规则由数学拍板，由数据流向拍板，由算力边界拍板。我们不是在做 AI，我们是在做一场关于人类认知边界极限的探索。
要是我们想走得远，就得学会接纳不确定性，接纳没有完美的答案，接纳我们一辈子在黑暗中摸索，而不断有人用光点亮。 毕竟，真正的智慧不在于知道模型有多完美，而在于知道啥是可能，啥是不可解。