从香农实验到LLM：预测、压缩与智能的本质

或许早在70多年前，信息论之父香农的妻子贝蒂，就已经完成了人类历史上最早的真人版大语言模型推理实验。

1950年代的一个夜晚，香农和妻子贝蒂在家中做了一场简单的互动实验：香农扮演出题者，从一段英文文本中逐字母向后推进，每到一个位置就先询问贝蒂下一个字母是什么，由贝蒂尝试预测，香农则负责记录结果。如果贝蒂猜对了，就用短横线标记；如果猜错了，就写下正确的字母。

最终得到的文本中，原本完整的英文被拆成了两部分：贝蒂已经能准确预测的位置只用短横线代替，只有那些无法预判的内容才保留原字母。这个场景乍看只是高知夫妇的饭后小游戏，但在3Blue1Brown主理人Grant Sanderson的最新视频中，它被放到了更宏大的信息论脉络中，被认定为人类历史上最早的真人版next-token prediction（下一个符号预测）实验。

Grant还借此探讨了一个关键问题：为什么看似简单的下一个符号预测，会和数据压缩、信息熵，甚至智能本身产生关联？答案或许就藏在贝蒂画下的那些短横线里。

从猜字母到语言建模：人脑作为初代模型

尽管Grant的视频已经清晰阐述了这一逻辑，我们还是可以从这个实验展开，更平缓地理解其中的关联。表面上看，这场实验像是双人版的填字游戏：在英文中看到t之后，大概率会接h；中文里看到“你”之后，很可能会出现“好”。但香农真正关注的并非贝蒂的预测准确率，而是这个实验带来的另一个核心结果：最终的转录文本比原文短了很多，但传递的信息量却没有减少。

如果复制一个和贝蒂完全一样的人脑，只需要这份缩短后的文本，就能还原出完整的原文——这就是“可预测性允许数据压缩”最直观的体现。就像熟人之间聊天，从“好的”到“OK”再到一个字母“k”，甚至一个表情包就能传递完整的同意信号，本质上都是利用双方共享的上下文，省略了可预测的部分。

不过这个实验有一个明显的缺陷：人类的预测并非完全确定的。同一个人在不同时间面对同样的前文，可能会给出不同的猜测结果，不同的人面对同样的上下文，预测的准确率和顺序也各不相同。因此，这个实验只能定性说明语言可以被预测、可以被压缩，却无法精准测量语言本身的信息熵。

为了解决这个问题，香农在后续的论文《Prediction and Entropy of Printed English》中对实验进行了系统化升级：他召集了更多受试者，不再只记录“猜对/猜错”，而是统计受试者需要尝试多少次才能猜中正确的下一个字母。一次就猜中，说明这个字母在当前上下文下极易预测；需要多次尝试才能猜中，则说明这个字母更出人意料。

香农通过这种方式，将猜测次数转化为受试者对该字母的隐含概率判断——他测量的并非静态的词频，而是人类大脑如何基于上下文对语言的概率分布进行建模。看到“th”之后，有人会先猜“e”，有人会先猜“a”，这种排序的差异，本质上反映了不同人对英文语言规则的理解和语感。

到这里不难发现，香农其实是将人类大脑当作了一个语言模型来测试，而贝蒂则是第一个公开进行下一个符号预测的“真人语言模型”。只不过当时的模型不是Transformer架构，而是人类的大脑。这些大脑内置了语法、常识、上下文感知和语感，能够预判一段文本接下来的走向，而香农所做的，就是不断追问：下一个字母是什么？

预测与压缩：大语言模型的底层逻辑

贝蒂的实验本质上就是用自己的大脑“划掉”了文本中可被预测的部分，只留下无法预判的内容，从而将长文本压缩为更短的形式。香农后续召集更多受试者做的，也是同样的事：把可预测的内容省略，只记录必须保留的信息。

顺着这个思路延伸，我们可以提出一个问题：如果一个人可以通过语言经验压缩一本书的文本，那么有没有一个模型，可以学习整个互联网上的语言数据，从而预判任意上下文下的缺失内容？用更贴近AI的说法就是：模型能否将语言中的规律压缩进自身的参数之中？

答案是肯定的，但在将这个结论直接套用到大语言模型之前，我们需要先搞清楚另一个更基础的问题：如何判断一种压缩方式的优劣？最直观的标准自然是压缩后的文本越短越好。只要一段信息中还存在可被发现的规律、可被删除的冗余，就可以继续压缩。

而当所有可预测、可概括、可利用的规律都被榨干之后，剩下的是什么？是信息本身。香农对信息的经典定义是：一件事情的出乎意料程度。如果一个句子的下一个字母几乎已经确定，那么它携带的新信息就很少；如果下一个字母完全无法预判，那么它就必须被完整记录下来。

这也是Grant所说的，理想的压缩算法最终输出的结果应该看起来像随机噪声——因为噪声没有任何可被利用的模式，每一位都像是独立抛硬币的结果，彼此之间没有关联，没有规律可以学习，也就没有冗余可以删除，自然也就无法继续压缩。随机噪声的“乱”并非缺点，恰恰相反，它代表了压缩的极限状态：所有可被预测的内容都已经被移除，剩下的每一位都必须被完整传输。

到这里，预测和压缩就真正联系在了一起：预测的本质是回答“哪些部分可以省略”，而压缩则是实际执行“删除可省略部分”的操作，最终剩下的必须被记录的内容，就是信息本身。

从信息量到信息熵：量化预测的难度

如果理解了前面的逻辑，香农的经典信息量公式就不再是一个凭空出现的数学定义了。假设一条消息出现的概率为p，那么它的信息量就是-log₂(p)。这条公式的含义很明确：事件发生的概率越低，它携带的信息量就越大；反之，概率越高，信息量就越小。用之前的逻辑来解释就是：越容易被预测的内容，信息量越少；越难以被预测的内容，信息量越多。

从压缩的角度来看，这个公式其实是在问：为了将这条消息从所有可能的候选中区分出来，理论上至少需要多少比特的存储空间？香农的伟大之处，就在于将“无法被预测的部分”转化为了可计算的量化指标。

但现实中我们很少只面对单一的消息，更多时候需要面对一整套可能性分布。比如Grant在视频中举的机器人指令的例子：机器人的移动指令不只是“动”或“不动”，而是上、下、左、右四个选项。如果四个方向出现的频率完全相同，那么每个方向都很难被预判，此时最自然的编码方式是为每个方向分配等长的比特，比如上=00、下=01、左=10、右=11，每条指令固定占用2比特。

但如果“上”出现的频率最高，“下”次之，“左”和“右”最少，那么最高效的编码方式就会改变：为出现频率高的指令分配更短的编码，为少见的指令分配更长的编码，只要保证每个编码不会产生歧义即可。通过这种变长编码，平均每条指令所需的比特数可以从固定的2比特降低到1.75比特。

这正是压缩领域的核心直觉：概率越高的消息，应该用越短的编码；概率越低的消息，才值得使用更长的编码。将这个思路推广开来，我们不再需要单独计算单条消息的信息量，而是可以计算在一个概率分布中，每新增一个符号时，平均需要多少比特才能完整记录它。这个指标就被称为熵。

熵越低，说明系统越容易被预测，也就越容易被压缩；熵越高，说明系统越随机，越难被压缩。如果机器人的四个方向出现频率完全一致，那么它的移动指令熵就会更高，预判难度也更大。语言的情况也是如此，只不过语言的候选符号更多、上下文更长，计算起来也更为复杂。

从熵到交叉熵损失：大模型的压缩与智能

和机器人的移动指令不同，大语言模型需要在成千上万个token候选中选择最符合上下文的下一个符号，而且这种选择完全依赖于前文的语境。因此，语言的熵本质上就是：给定前文的情况下，下一个token平均还存在多少不确定性。

从压缩的角度来看，这就相当于用这个大语言模型来压缩真实文本时，平均需要多少比特才能完整记录下一个token。这也解释了为什么大模型训练中常用的交叉熵损失函数，天然和数据压缩联系在一起：模型为真实token分配的概率越高，说明这个token越不出人意料，它携带的信息量就越少，编码它所需的比特也就越少。因此，交叉熵损失越低，就说明这个模型的压缩效果越好。

同时，模型越能准确预测下一个token，就说明它已经捕捉到了语言中的可重复结构——语法规则、词汇搭配、文本格式、客观事实、代码习惯、对话模式、推理逻辑，甚至一部分世界常识，都蕴含在这个预测过程中。

不过Grant也强调，这并不意味着压缩就等于智能。比如ZIP压缩工具可以高效压缩文件，但没有人会认为ZIP在进行思考。更严谨的说法是：智能至少包含一种能力——捕捉世界中可被预测的结构。这也是“压缩即智能”这一观点的核心内涵：它并不是说只要能压缩就拥有智能，而是说如果一个系统能够将复杂世界中的规律压缩为更简洁的表示，并且可以在新的上下文环境中利用这些规律进行预测，那么它至少已经具备了智能的一部分特征。

回头再看香农和贝蒂的那个客厅实验：贝蒂猜对的地方，香农画下短横线；七十多年后，大语言模型猜对的地方，训练的交叉熵损失就会降低一点。短横线变成了损失值，书页变成了整个互联网，坐在桌边猜字母的人变成了GPT，但它们都在回答同一个问题：下一个符号，会带来多少意外？

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/

AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。