向量范数的收敛性定理-向量范数收敛性定理

人脑处理信息的方式和电脑不忒一样，电脑是完美的逻辑机器，人脑是不清楚的、多路并行的。当我们说一个算法要么模型“收敛”，实际上就是指这个大脑终于学会了，不再在那儿瞎折腾，而是终于找到了一条路，把输入变成了自己想要的输出。 想象一下你在玩一个找宝藏的游戏，地图上的标记一启动是乱的，有的深有的浅，有的有坑有的平地。你没办法像电脑那样，一眼扫描完所有数据，然后直接扔出答案。你得一步一步算，一边走一边看。
要是你走到第 50 步，发现前面那个坑特别大，后面那个坡特别陡，这时候要是还持续盲目乱走，那就好玩了，这游戏玩下去你迟早会晕倒。
这时候，收敛定理就出现了，它告诉你：只要你的走法是对的，你肯定能走到终点，并且终点是唯一的。 在数学上，我们一般把这种“走法”叫做迭代过程，把那个起点叫初始向量，把那个目标地叫极限向量。刚启动，离目标还远，误差挺大，误差函数是图里那个急得哆嗦的函数，每走一步就咔咔直掉。
可是，随着你走远了，遇到那些坑和陡坡的次数越来越少，误差曲线就启动慢慢凹下去，像吃了一个大橘子，皮皱皱的，但肉还在一点点变软。
这时候，要是公式选得对，这个下滑的趋势不会停，而是会偷偷变慢，直到误差曲线根本看不清了，化成一个无限长的尾巴，那是极限向量所在的区域。 这就好比你在泥泞的小路上开车，刚启动刹车反应慢，挪动距离大，一点点挪那会儿又陷进泥里，这时候你急刹车好办甩尾。但只要路是直的，你踩油门，车速就会慢慢稳下来，不再忽快忽慢了。
这个“稳下来”的过程，就是收敛定理在起功能。它不是保证你跑得快，而是保证你跑到了同一个地方。 在微积分里，收敛性定理实际上是一个挺大的包，它涵盖了从距离度量到范数定义的简直所有内容。范数，也就是我们常说的“范数范数”，实际上就是测量向量有多“胖”要么有多“长”的一个工具。
要是你有一个挺长的向量和一个挺长的向量，你认定它们差不多长，那肯定是在同一个范数空间里算的。
要是是在不同的范数空间里，比如用欧几里得范数去算 L1 范数，那就算错了，就像用尺子去量圆，要么用皮尺去量正方形，结局肯定对不上。 比如我们来看一个具体的例子。假设我们有两个向量，一个是 [1, 1, 1]，一个是 [10, 10, 10]。在欧几里得范数（就是一般说的距离）下，它们之间的距离是固定的，计算起来也不费事，$sqrt{1^2+1^2+1^2}$ 减去 $sqrt{10^2+10^2+10^2}$，结局就是一个确定的数字。但在 L1 范数（L1 范数）下，计算就要复杂多了，$sum |x_i|$ 这种求和，对于向量 [1, 1, 1]，结局是 3；对于 [10, 10, 10]，结局是 30。
这两个结局彻底不一样，但它们看起来在欧几里得空间里是“差不多”的，只是位置稍有不同，要么说是被拉伸了。
要是你用的收敛算法是基于 L1 范数设计的，它可能会认定这两个向量挺接近，进而认定它们挺好办就被吸引到同一个地方。但要是用的实际上是欧几里得范数算的，它可能会认定这两个向量挺远，算法就会跑大量步才收敛。
这说明，要是你搞混了空间里的“距离”，再好的算法也得游到毛病的海域，才谈得上“收敛”。 有时候，教科书里会把收敛定理讲得特别死板：“出于误差是非负的，故此上限是有限的，故此必然收敛。”这听起来挺科学，但实际上更像是给那些已经会步行的人提的那些：你们已经会步行了，故此你们必然能到达终点。对于那些还没学会步行、还在学步的孩子来说，他们可能一辈子都学不会步行，就连会摔倒。收敛定理给不了他们新的步行方式，它只是告诉孩子：只要你坚持走，不要乱跑，你总会到达那个终点。 还有一个特别有趣的点，有时候理论上的收敛并不代表你在实际运行中一定能快速到达。
这就好比你在学骑脚踏车，理论告诉你只要脚踩着踏板，车就会停住，不会翻车。
可是你在街上骑的时候，可能滑倒了，要么风忒大，车被吹歪了。
这就叫收敛了，但速度极慢，就连能够说是“慢收敛”。
这时候，你可能会认定“收敛定理是骗人的”，实际上不是，它只是告诉你：只要你不乱，它总会停，只是停下来慢得要命。
要是算法本身设计不好，比如迭代次数每多一次误差就指数级爆炸，那即便收敛了，你也可能一辈子都到不了终点，出于误差函数可能长得像一条长长的蛇，一直往右延伸，你就算走到尽头了，后面还有一条长长的蛇，你根本走不到头。 自然，收敛定理也不是万能的。有些情况下，算法可能会在局部极小值里卡住，就是那种狗拉车，别看车停下不动了，但它离真正的最低点（全局最优解）还隔着万水千山。
这时候，再好的收敛定理也救不了你，你得靠换算法、加随机扰动，要么人工干预。
这时候，收敛定理只是负责告诉你：它在努力，它正在爬，别看爬得挺慢，但它还在爬。 最终，我想说，数学里的收敛性，实际上就是一种对“确定性”的极致追求。它在告诉我们，甭管你的起点多么凌乱，甭管你的计算过程多么复杂，只要方向对了，规则够了，那个终点是存有的，是唯一的。就像你在沙漠里迷路，理论上你肯定会找到绿洲，别看现实中可能出于干旱、沙暴要么导航失灵，你半生不熟，但数学不会骗人，它保证了终点在那里等着。
这就是为啥我们要频繁地看收敛性定理，不是为了为了证明公式有多牛，而是为了在心里有个底：别慌，别乱，该走的步骤你该走了，哪怕慢一点，你也一定能到，出于那个方向，是数学印在纸上的真理。