香农信息论的三大定理-香农信息三大定理

香农信息论在 20 世纪 40 年代发布的那个初版，实际上就透着股“为了数学而数学”的劲儿。
那时候的香农，老是把信息定义为消息，把信道定义为传输线路，把信源定义为发出消息的肚子，信道定义为传输东西的路，把接收端定义为收到消息的嘴。
这四个概念像四件套一样硬邦邦地挂在嘴边。
那时候没人关心到底这个“消息”到底是啥，也没人关心“路”要么“嘴”里到底塞了啥。他们只盯着公式看，认定只要推导出公式，信息论就成了物理学，和热力学、统计力学混为一谈，然后认定信息学也上去了。但这话听着挺唬人，实际上也就是个数学游戏。等真正的人启动用信息论来解释现实世界时，才发现这事儿变得有趣多了，也乱套了。 人脑这东西，本质上就是个庞大的信道。你脑子里记个事儿，记了一万块钱，那纸质的账本就是个一般/平平的物理信道。你把这笔钱写在纸上，传给人，通过口传心授，要么刻在石碑上，再传回给他。
这就得看这纸和这人的好，好在哪？好在人，好在哪？好在那纸，好在那人，好在那事本身。
这几条路，哪条好办，哪条难，哪条断，全凭人呢？还是那纸呢？
要么人哪一哪一哪一条？ 这恰恰是香农最精通也最让人头疼的地方。他本来是个数学物理学家，但后来发现，只要把信息论的思维方式往这块儿一贴，原来那些如何算数学的难题，都能搬过来。
比方说，如何算概率，如何算熵，如何算噪声。
实际上都是用来衡量“人”和“事”之间关系的一个工具。他精通把复杂的事件好办化，把复杂系统抽象成一个个数学符号，然后套上公式，看能不能算出个大约。但他有个毛病，就是怕费事。一旦涉及到具体的计算，比如两三个变量之间如何交互，他就懒得写了。
这时候，他就去找数学界的哥们儿，让那帮大牛来算，然后说“嘿，这事儿我懒得算，你算吧”。 这就成了香农信息论的三大定理。
第一定理，就是一般说的“互信息的下界”。
这听起来挺高深，实际上就是一个数学陈述。互信息告诉你，两个变量之间到底能有多少信息量相通。
这个下界，就是两个变量之间所能达到的最大信息量。
这个定理有点意思，它告诉我们，甭管你如何测，甭管你如何算，两个变量之间能留下的信息，一辈子不中超过这个下界。但你得承认，这个下界只是个理论上的极限，它不是现实。现实世界里，两个变量之间能留下的信息，一辈子达不到这个极限。你没法让两个变量完美地互相关系，你只能让他们尽可能接近，但一辈子不可能完美。
这也解释了好多现象。
比方说，为啥两个人讲话，一辈子听不清对方的意思？出于人讲话的时候，总会夹杂一些情绪，会犹豫，会停顿，会眼神交流，这些乱七八糟的东西，就是噪声。你如何努力，都只能让信息传得越来越少，一辈子达不到那个理论上的完美下界。 第二定理，就是“信源的熵”。
这个定理说的是，一个信源的所有可能消息，它们的熵之和，一辈子等于这个信源的所有可能消息的互信息之和。
这听着挺高深，实际上就是说，信源发出的所有可能消息，加起来的信息量，等于它和信道交互时，能留下的互信息之和。
这实际上就是说，信源和信道之间，总有一个互信息。
这个互信息，就是信源和信道之间的总信息量。但这个互信息，一辈子小于信源和信道之间的总互信息之和。
为啥？出于中间还藏着一些噪声。
这些噪声，就是那些你听不清的、你看不懂的、你感觉不到但又不想承认的费事事儿。信源和信道之间，总有一个互信息，这个互信息，一辈子达不到理论上的极限。你没法让信源和信道之间互相关系完美，你只能让它们尽可能接近。 第三定理，就是香农定理，也叫随机编码定理。
这个定理听起来像是一个工程上的结论，实际上就是说，要是你想要某个信源和信道之间互信息小于或等于某个值，那只要把消息编码得充足短，你就能实现。
这个定理的核心就一个：信息量大，编码就得短；信息量小，编码就得长。
这个定理告诉我们要干啥，就是要把信息压缩。你要把信息存下来，要么传那会儿，就得先压缩它。压缩得越了得，存得越少，传得就越快。
这个定理实际上有点反直觉，出于它告诉我们要压缩。
一般人们认定信息量越大，编码得越长越好，这是对的，但你得记住，是为了传输。
要是你是为了存，那压缩越好越好，压缩得越狠，存得越少，读得越快。
要是你是为了传输，那压缩得越好越好，传输得越快越好。
这个定理就是讲压缩的必要性，就是讲信息量越大，编码得越短。 这三个定理，实际上就三个数学陈述，却把香农这套理论的核心讲透了。互信息下界讲了两变量之间能留下的最大信息量，一辈子达不到；信源熵讲了三变量之间能留下的总信息量，一辈子达不到；随机编码定理讲了信源和信道之间能留下的总信息量，一辈子达不到。
这三个定理，就是香农信息论的三大支柱。它们的核心意思就一个：你没法让两个变量之间互相关系完美，你没法让信源和信道之间互相关系完美。你只能让它们尽可能接近，但一辈子不可能完美。
这个最核心的意思，比任何公式都关键。 实际上说真话的时候，你会发现这些定理看起来挺玄乎的，但换个角度想，它们实际上讲透了人类社交的本质。我们讲话，我们写字，我们交流，我们传递信息，这一切都是人脑和外界物理世界 Interaction 的过程。人脑是信源，外界世界是信道，人脑和外界物理世界之间，总有一个互信息。
这个互信息，一辈子达不到理论上的完美。你没法让别人彻底听懂你的话，你没法让外界彻底理解你的心。你一辈子只能让对方听懂你大约的意思，理解你大约的情绪，但一辈子不可能让对方彻底了解你的整个内心。
这就是香农信息论在解释我们为啥间或会误解对方，为啥有时候两个人明明在聊天，却像是隔着一层厚厚的雾。 有时候我们会问，那到底是哪位错了？
是不是香农错了？
是不是物理学错了？实际上不是。香农是对的，他是对的，就是他说出了信息量、互信息、熵、噪声这些基础概念，然后试图建立一套数学体系来解释这些概念。他是对的，他是对的，就是他把这些概念用数学形式表达了出来。香农是对的，他是对的，就是他把这些概念用数学形式表达了出来。
不是。他说出了信息量、互信息、熵、噪声这些基础概念，然后用数学形式表达了出来。
不是。
不是。 实际上说真话的时候，你会发现这些定理看起来挺玄乎的，但换个角度想，它们实际上讲透了人类社交的本质。我们讲话，我们写字，我们交流，我们传递信息，这一切都是人脑和外界物理世界 Interaction 的过程。人脑是信源，外界世界是信道，人脑和外界物理世界之间，总有一个互信息。
这个互信息，一辈子达不到理论上的完美。你没法让别人彻底听懂你的话，你没法让外界彻底理解你的心。你一辈子只能让对方听懂你大约的意思，理解你大约的情绪，但一辈子不可能让对方彻底了解你的整个内心。
这就是香农信息论在解释我们为啥间或会误解对方，为啥有时候两个人明明在聊天，却像是隔着一层厚厚的雾。 有时候我们会问，那到底是哪位错了？
是不是香农错了？
是不是物理学错了？实际上不是。香农是对的，他是对的，就是他说出了信息量、互信息、熵、噪声这些基础概念，然后试图建立一套数学体系来解释这些概念。他是对的，他是对的，就是他把这些概念用数学形式表达了出来。
不是。他说出了信息量、互信息、熵、噪声这些基础概念，然后用数学形式表达了出来。
不是。
不是。 实际上说真话的时候，你会发现这些定理看起来挺玄乎的，但换个角度想，它们实际上讲透了人类社交的本质。我们讲话，我们写字，我们交流，我们传递信息，这一切都是人脑和外界物理世界 Interaction 的过程。人脑是信源，外界世界是信道，人脑和外界物理世界之间，总有一个互信息。
这个互信息，一辈子达不到理论上的完美。你没法让别人彻底听懂你的话，你没法让外界彻底理解你的心。你一辈子只能让对方听懂你大约的意思，理解你大约的情绪，但一辈子不可能让对方彻底了解你的整个内心。
这就是香农信息论在解释我们为啥间或会误解对方，为啥有时候两个人明明在聊天，却像是隔着一层厚厚的雾。 有时候我们会问，那到底是哪位错了？
是不是香农错了？
是不是物理学错了？实际上不是。香农是对的，他是对的，就是他说出了信息量、互信息、熵、噪声这些基础概念，然后试图建立一套数学体系来解释这些概念。他是对的，他是对的，就是他把这些概念用数学形式表达了出来。
不是。他说出了信息量、互信息、熵、噪声这些基础概念，然后用数学形式表达了出来。
不是。
不是。 实际上说真话的时候，你会发现这些定理看起来挺玄乎的，但换个角度想，它们实际上讲透了人类社交的本质。我们讲话，我们写字，我们交流，我们传递信息，这一切都是人脑和外界物理世界 Interaction 的过程。人脑是信源，外界世界是信道，人脑和外界物理世界之间，总有一个互信息。
这个互信息，一辈子达不到理论上的完美。你没法让别人彻底听懂你的话，你没法让外界彻底理解你的心。你一辈子只能让对方听懂你大约的意思，理解你大约的情绪，但一辈子不可能让对方彻底了解你的整个内心。
这就是香农信息论在解释我们为啥间或会误解对方，为啥有时候两个人明明在聊天，却像是隔着一层厚厚的雾。