香农 1948 定义“信息”，竟预言了今天的大模型

一、1948 年：一篇"没人读得懂"却定义了时代的论文

1948 年，贝尔实验室的工程师克劳德·香农在《贝尔系统技术期刊》上发表了一篇题为《通信的数学理论》的论文。

它枯燥、满是公式，以至于当时很多人看不懂。

但正是这篇论文，悄悄定义了整个数字时代——今天你每次压缩一张照片、发一条微信、用大模型聊天，底层都是它在说话。

香农要做的事听起来很朴素：给"信息"一个精确的数学定义。

在他之前，"信息"是个说不清的模糊词；在他之后，信息成了像质量、能量一样可以被度量的东西。

下面我们看看，这个看似简单的想法，是怎么一步步想出来的。

图1：约 1930 年的少年香农——后来"信息论之父"（公有领域）

二、起点：1937 年，用布尔代数重新描述电路

香农的天才，早在 21 岁就读 MIT 时的硕士论文就显露了。

那篇题为《继电器与开关电路的符号分析》的论文，证明了一件改变世界的事：电路的开/关，可以用布尔代数的 1 和 0 来表示，而 AND、OR、NOT 这些逻辑运算，恰好对应串、并、反向的继电器。

这一步让他养成了两个终身习惯：第一，一切都可以用二进制表示；第二，用代数和数学，而不是工匠直觉，来设计系统。

数字电路从此从一门手艺，变成了一门科学。

而"信息用比特（0/1）来度量"，这个念头，正是从这里埋下的种子。

三、二战密码学：把"知识"想成"不确定性"

1941 年香农进入贝尔实验室，从事火控与密码研究。

1943 年，他在茶歇时遇见了来访的图灵——图灵给他看了自己 1936 年"通用图灵机"的论文，两人多次长谈（受保密限制，不能聊各自破译工作的细节，多聊机器与心智）。

1945 年 9 月，香农写了一份机密备忘录《密码学的数学理论》（1949 年公开发表），第一次用数学定义了"完美保密"：密文与明文在统计上相互独立，于是一次一密不可破。

这件事教会他两件关键的事：把"知识/不确定性"形式化，以及养成"从接收者的视角看信息"的思路——这成了 1948 年论文的灵魂。

四、向热力学"借"来熵，却又换掉了它的灵魂

香农面临的核心难题是：怎么度量"一条消息携带了多少信息"？他注意到，统计力学里有一个叫"熵"的概念，描述的是物理系统的无序程度。

而他的同事冯·诺依曼给了他一个著名建议：

"You should call it entropy, for two reasons. In the first place your uncertainty function has been used in statistical mechanics under that name … In the second place, and more important, no one really knows what entropy really is, so in a debate you will always have the advantage." 冯·诺依曼（1961 年访谈转述）：你应该叫它"熵"，理由有二：其一，你的不确定性函数在统计力学里已叫这名，本就有名字；其二（更重要），没人对"熵"真正懂，于是辩论时你永远占上风。

香农借来了"熵"的数学形式 H = −Σ pᵢ log pᵢ，却彻头彻尾地改造了它：热力学熵度量的是物理系统的无序，有量纲、依附于物质；而香农熵度量的是"不确定度、平均意外程度"，无量纲、与任何物理载体无关，纯粹是概率分布的性质。

他借了名字和外壳，装进的是"概率"这瓶新酒。

五、最关键的洞见：信息 = 接收端被消除了多少不确定性

这是香农整个理论最颠覆的一步。

在他之前（包括哈特利），人们把"信息量"当成消息本身的属性。

香农却反过来问：

"The fundamental problem of communication is that of reproducing at one point … a message selected at another point. … these semantic aspects of communication are irrelevant to the engineering problem. The significant aspect is that the actual message is one selected from a set of possible messages." 原文（1948, p.379）：通信的根本问题，是在一点重现另一点所选出的消息……这些语义层面与工程问题无关；要紧的是，实际消息只是从一组可能消息中被选出的某一个。

他的反转是：在收到消息之前，接收者对"发送了哪一条可能消息"有多不确定？收到之后，这种不确定还剩多少？两者的差，就是这条消息携带的信息。

于是"信息"不再依赖语义，而等于"消除的不确定性"。

一句大白话：告诉你硬币的正反面，你消除了 1 比特不确定，所以这条消息就是 1 比特信息；告诉你"太阳今天升起"，你消除了几乎 0 不确定，所以无论你喊多大声，它都是≈0 信息。

六、为什么是"比特"，又凭什么比哈特利更进一步

取对数底为 2 时，香农把单位命名为"二进制数字"——更简洁地叫 bit（比特），这个词还是同事 Tukey 帮他起的。

更深的理由是：1 比特 = 一次"是/否"提问所能消除的最大不确定。

信息从此可以被逐位地计数，像质量一样成为物理量。

而相比 1928 年哈特利给出的 H = n log S（假设所有符号等概率），香农的推进是决定性的：

"The choice of a logarithmic base corresponds to the choice of a unit for measuring information. If the base 2 is used the resulting units may be called binary digits, or more briefly bits." 原文（1948, p.379 脚注）：对数底的选择对应于度量信息的单位的选择。

若取底为 2，所得单位可称作"二进制数字"，或更简洁地叫 bits（比特），此词由 J. W. Tukey 提出。

香农引入了每个符号的概率权重 pᵢ，使信息成为真正的"平均量（熵）"而非最大容量；他明确把"语义/意义"剥离，让理论能普遍用于任何信源；并由此推出信源编码定理与信道编码定理，给出了压缩与传输的绝对极限。

哈特利，只是香农公式在"等概率"这个特殊情形下的特例。

图2：《通信的数学理论》1949 年书版扉页——对应 1948 年那篇奠基论文（公有领域）

七、76 年后的回响：你每天都在用的"香农"

香农先证明了压缩与传输的"不可逾越之线"（香农极限），此后 70 年人类只是不断造出更聪明的码去逼近它。

这条线索一直通到今天：

数据压缩：熵 H 是无损压缩的平均比特数下限。

Huffman 编码、算术编码，到今天 ZIP / PNG / FLAC / JPEG / MP3，核心都是在逼近 1948 年定义的这个下界。

纠错码：只要有噪信道速率低于容量 C，就存在编码使误码率任意小。

今天 4G/5G 的控制信道用 Polar 码、数据信道用 LDPC 码，都在追逐 C = B·log₂(1+S/N) 这个香农容量。

大模型的训练目标：现代 LLM 以"预测下一个 token 的概率分布"为目标，用交叉熵（cross-entropy）损失最小化预测分布与真实分布的差距。

交叉熵直接源自香农的熵与相对熵——"token 概率预测"正是香农把信源建模为概率序列、用熵度量其不确定性的原模原样。

更远的回响还有：决策树用"信息增益=熵之差"做分裂；物理上 Landauer 原理把"擦除 1 比特"与 kT·ln2 焦耳的能耗挂钩；惠勒甚至提出"万物源自比特（It from Bit）"。

1948 的"比特 + 熵"，已成为横跨通信、计算机、物理、生物的通用语言。

图3：与香农工作相关的图示（公有领域）

八、最该记住的启发

第一，信息不是"内容"，而是"消除的不确定性"。

香农最颠覆的洞见，是把信息从"这句话什么意思"反转成"接收端的不确定被消除了多少"。

一句废话和一句机密，价值天差地别，只因后者消除了更多不确定。

第二，"熵"是借来的外壳，装的是概率的新酒。

他照搬热力学熵的数学形式，却剥离了物理载体，让"平均意外程度"成了通用语言——今天 LLM 用交叉熵训练、用 token 概率预测，仍是 1948 这同一个 H = −Σ pᵢ log pᵢ 在说话。

第三，极限先于工程。

香农先证明了"不可逾越之线"，此后 70 年人类只是不断逼近它。

理论一旦到位，工程只是追光——这也是为什么学 AI、学通信，绕不开 1948 年那个安静的贝尔实验室工程师。

关联推荐

模块二 · 提示词工程实战：让 AI 第一次就听懂你 —— 大模型训练用的"交叉熵"，源头正是香农 1948 的熵；想真正理解 AI，得先懂信息论。

[关联映射] 引流型：本篇呼应 M2 提示词工程课——大模型的训练目标（交叉熵）直接继承自香农的信息熵。

量子信息+熵，能解释宇宙的演化吗

热力学第二定律，也许是物理里最根本的几条原理之一。

它说，一个系统的熵只会随时间增加，不会减少。

这也是唯一一条能指明"时间箭头"朝哪走的物理定律。

熵，说白了就是无序的程度：熵越低，结构越有序；熵越高，越散乱。

糖从浓处向淡处扩散、气体膨胀、咖啡放凉，背后都是熵在增加。

人们相信，宇宙的演化也遵循这条定律。

宇宙早年处于低熵状态，一路演化到高熵。

可就在这个过程中，宇宙造出了一些极其复杂的结构——星系就是代表。

星系的熵很低，却是在一个高熵的环境里形成的。

这看起来像是在违反第二定律。

这个存在已久的矛盾，正是物理学家金妮斯特拉·比安科尼想解决的难题。

引力、熵与量子信息的交织，是比安科尼理论的视觉主题（图片来源：Physics World） 在爱因斯坦的广义相对论里，有个叫"度规"的数学对象，描述时空是怎么弯曲的；物质沿着这条弯曲走，就表现成了引力。

而在量子力学里，"算符"是对量子态做变换的数学工具。

比安科尼的关键一步，就是把这个"度规"当成量子算符来用，用量子化的方式描述时空的几何。

这样一来，会冒出两个"度规"：一个是"真实"的时空度规，一个是由物质和能量诱导出来的度规。

两者之间"差多少"，用量子信息论里的一个量来度量，叫量子相对熵。

正是这两个几何之间的量子相对熵，决定了时空怎么演化——换句话说，它给出的运动方程，就是引力。

在低曲率极限下，这套方程能精确还原爱因斯坦的广义相对论。

可一旦超出这个极限，方程就得被一个叫"G场"的对象修正。

G场生出一个暗能量项，而且是动态的。

暗能量被认为是直接推动宇宙膨胀的东西；在标准广义相对论里，它由静态的宇宙学常数驱动。

现在冒出一个动态的暗能量项，就有了被实验检验的机会。

比安科尼又把这套理论用到了弗里德曼-罗伯逊-沃克（FRW）宇宙模型上。

这是广义相对论对宇宙行为的一级近似，假设宇宙各向同性、处处均匀、且在膨胀。

膨胀由宇宙的主导成分驱动——暗物质、普通物质，或辐射。

宇宙膨胀时，体积变大，总熵也跟着变大。

但正因为体积涨得更快，单位体积里的熵——也就是熵密度——反而随时间下降。

总熵在涨，局部熵密度却在降，这就给了星系、甚至生命这类低熵结构一个在膨胀宇宙里被造出来的机制。

那这算不算违反第二定律？比安科尼用非空的 FRW 宇宙算了一遍总熵：要把熵密度在整个时空区域上积分，而因为体积随时间变大，总熵成了时间的函数——膨胀的速度超过了熵密度衰减的速度。

所以对辐射主导和物质主导的宇宙，总熵依然随时间增加，第二定律照样成立，尽管局部熵密度在下降。

比安科尼强调，GfE 理论还很年轻，需要实验来验证。

但这项工作揭示了它内在的热力学本质，为经典引力与量子引力都打开了新路——把引力用"量子信息"和"熵"来表述，也许正是通向"量子化引力"这个百年难题的另一条路径。

引力，也许并不是什么神秘的基本力，而只是信息与熵的必然结果。

若真如此，宇宙为什么要演化、为什么能长出星系和生命，答案也许就藏在这条最普通的第二定律里。

来源：S. Jones, "Could quantum information theory explain universe evolution?" Physics World, 14 Sep 2026. 报道所引研究：G. Bianconi, Physical Review D.

6万人军演逼近家门口，真正威胁不在海面，500公里近地轨道是关键

文|朝子亥 本文为深度观点解读，仅供交流学习 大家好，欢迎观看【小亥点评】，这场美日主导的多国联合军演真不是以为的 "谁家军舰大、战机多就赢了"，最可怕的对抗早就搬到了五百公里外的天上！ 第一岛链附近搞起了一场声势浩大的多国联演，也就是 "利剑 27" 演习（10月19日至29日，共11天），9国、大约6万兵力、11天的全流程，真要论硬件，海军、空军都整得挺齐活。

但细看下来，表面是大家热闹扎堆，实质上，美日两家下的 “赌注” 全搭在天上。

重点不是那些排队过来的舰艇和飞机，而是相关空域轨道内上百颗卫星、数据链串起来的 “信息大网”。

按字面理解，台前晒肌肉没错，可这些“显性力量”最多算是终点。

“起点”是什么？毫无疑问，天上那层卫星、导航、侦察、通信系统才是真正站C位的主角。

能不能全时探知，精确传输，及时共享目标、态势和火力信息，才是现代战争的终极门槛。

美日在这次演习中，明面技术和场面阵仗之外，更在“后台”层层加码，一步步推进自己太空情报链的实战抗压和一体化协同水平。

信息根基，已经替代了所谓军力表面“天平”。

岛链火力的“背后推手” 别看只有28平方公里小地盘，距离台湾也就110公里，这次成了美日前沿火力配置的典型样板。

美国把 "复仇女神" 岸基无人反舰导弹系统本次演习首次部署在这里，日本则把改进型12式（25 式）岸舰导弹今年3月刚正式部署，这次是首次参演，射程推到千公里级。

单说硬件会发现一个规律：不管是什么打击平台，关键都在数据流，这些分布式火力到底能不能成为“解题利器”？其实要分两头看。

一方面，以往那种集中打击固定岛屿发射节点的思路，在分布越来越细、发射单元分散的布局下确实难以奏效。

美国玩的是“多点躲猫猫”，日本更希望岛屿既当传感器也是发射单元，岛变“哨点”，网络无死角。

对手想直接一网打尽，难度直线上升。

但问题也同样明显：即便打击节点多了，受制于后台的信息链，如果高空卫星和地面数据链被切断，火力再多那也是“哑炮”。

导弹射程、反应速度、机动能力其实都直接依赖于“坐标流”，可以说，一切分布式战法都建立在稳定信息流动之上。

如果这条命脉遭到干扰、侦察数据失真、链路延迟，主岛火力将变回笨重摆设，这是今天战争的一条真理。

太空信息网 别只盯着谁能发射更多导弹，其实，现阶段大家比拼的更多是后台的“看不见的手”。

美军早就把商用航天资源拖上了战场桌面，《华尔街日报》和央视国际都有报道。

这两年星链、星盾已经实质参与美军的战场调度，日本直接拿自家的准天顶卫星定位系统和美方对接，目的只有一个，抗干扰和多链路备份。

这种太空对抗绝对不是单靠物理打击，动真格硬碰硬，不仅难控制局势，还容易失控升级。

2025年以来，美日队伍把更多精力放在了 “软杀” 上，比如，数据就算传递快，也可能被敌方电磁干扰、阻断，信号链路随时遭遇切断。

美国现在部署的部分新型电磁战装备具备远距离跨区域干扰能力，可以隔空让对方整套系统 “卡壳”。

那些精确导弹，遇信号漂移定位失真，顶多砸个大概目标，这还谈什么高精度？ 而且这种对抗模式悄然带动了中国的信息防御和反制，过去几年，咱们高分、海洋、雷达卫星都实现实战级接入。

新华社官方信息多次透露，现在雷达侦察卫星具备穿云观测能力，多星组网可实现常态化持续侦察，岛链动静随时掌握。

不止如此，俄乌战场的情况也证实，如果卫星密集覆盖，传统隐蔽伪装、机动突防的难度会大幅上升。

实际逻辑很简单：“天上的信息流”才最顶级，谁家后台现代化，前台兵力才能长时间发挥“组合拳”。

否则，一着断线，所有硬件全成瞎忙活。

演习背后的难题 这里还得强调一点，表面上“分布式火力”听着挺唬人，但放在第一岛链这些小岛身上，真正问题不少。

比如与那国岛这种地理限制非常突出，岛小、后方通道短，一旦爆发大规模冲突，发射点暴露概率极高。

给火力装了“快速机动、打了就跑”的战法，不代表可以无限消耗，前提还是得看后台支撑给不给力。

更何况，分布式节点越多，对整个后台的信息链以及导航系统负担就越大，只要集中攻防落在信号链路和数据共享上，牵一发而动全身。

现在看来，美国已经把一部分高精度电磁压制装备带上了岛链各前沿阵地，日本也同步升级了抗干扰管线，但理论上信息链一断，那些先进硬件完全施展不开。

这一趋势其实和俄乌战场越来越像，大家逐步发现，再多的火力、遮盖再充分的装备，实际上决定胜负和持续作战力的都是后台情报调度和电磁对抗。

正因如此，演习再大、出动再多，实际比拼的就是后台谁能坚持得更久、更稳。

台面门面不如台下数据 演习总是会吸引市面广泛关注，大家都想知道，是不是兵力大、装备多谁就优势更大。

但最新这波第一岛链演练已经赤裸裸验证一点：表演台上看似谁都厉害，其实后台数据系统才最要命。

无数经验和公开报道都说明，现代作战模式正逐步变成谁能用好太空和电磁，这才是真正顶级“胜负手”。

在这种环境下，中国的应对方式同样不断提升，除了自己搭建高水平卫星观测系统，也在不断升级海上、岛礁及陆地的情报补链能力。

美国这一套商业航天融合路线确实推进很快，但信息战、卫星链路、数据抗压，还是现实中的高风险区。

海面、岛上的火力点，再怎么“分布”，也是建立在稳定数据网的基本盘之上。

2026年这轮大演习给出了一个最现实的启示：海陆空再热闹不过是表面文章，只有太空和电磁领域的“后台机房”稳定运行，现代作战体系才不会突然“死机宕机”。

后面，谁能守住数据安全、保障链路畅通，谁才是真正撑得起“体系作战”这四个字。

你怎么看这种“信息根基压倒兵力面子”的战争新风格？你觉得未来岛链对抗、太空电磁博弈还会怎么玩？欢迎在评论区一起聊聊你的看法！ 参考资料：美日所谓“利剑”联合演习今日开始，双方投入兵力近6万人，演习扩展至太空、网络和电磁波等新领域，美国将部署新型地对舰导弹系统——2026-10-19 09:21智慧生活报