链接：https://www.zhihu.com/question/22178202/answer/667876061
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
不确定性作为自然的基本属性，应该怎样用数学的语言去刻画呢？“熵”就是关于不确定性的一个极好的数学描述。历史上的熵概念起源于热力学。凡是学过热力学、统计物理或物理化学的人对“熵”这一术语都不陌生，但是这一概念发展的初始阶段却跟混沌思想并无任何历史瓜葛。实际上，当熵的名词诞生之时，混沌之祖庞加莱（Henri Poincare, 1854-1912）还只是一个乳臭未干的少年。当熵的触角从宏观的热力学伸展到微观的统计力学之后，才逐渐拉近它和混沌概念的距离。二十世纪中叶的一场信息论革命，无意中在古典熵的旧作坊内又酿造出醇香的新酒。
十九世纪是物理学家大显身手的世纪。如果说十七世纪是宏观力学的乐园，十九世纪则是微观力学的会所。热力学和统计力学把眼光由外向里地从机械能转向到内能，熵概念的缓慢演化覆盖了那个世纪后半叶的前三十年。1865年，热力学奠基人之一、德国物理学家和数学家鲁道夫 • 克劳修斯（Rudolf Julius Emanuel Clausius, 1822-1888）第一次使用了“熵（entropy） ” （从意指“变换容度”的希腊词τροπή派生而来）作为热力学的专用名词，并赋予其数学形式。他用 “Sadi” 的第一个大写字母 S 作为熵的记号，大概是为了纪念熵理论先驱者之一、法国工程师萨迪 • 卡诺（Nicholas Leonard Sadi Carnot, 1796-1832）。他写道：“按照希腊词τροπή (trope) 的意思，我将 S 这个量称为系统的熵。我特别取熵这个词是为了让它与能量这个词尽可能相像：这两个词所表达的两个量在物理上如此密切相关，把它们的名字写得类似完全是合情合理的。” 他的一句名言 “宇宙之熵趋于无穷” 是热力学第二定律在孤立系统中无能量消耗情形下的推论；他的另一句断言 “宇宙总能量不变” 则是能量守恒定律的通俗说法。
I propose to name the quantity S the entropy of the system, after the Greek word τροπή [trope], the transformation. I have deliberately chosen the word entropy to be as similar as possible to the word energy: the two quantities to be named by these words are so closely related in physical significance that a certain similarity in their names appears to be appropriate.
——Clausius
第二年，24岁的玻尔兹曼（Ludwig Boltzmann, 1844-1906）在他关于气体动力学的奠基性论文中，给出了熵的另一形式。十一年后的1877年，他在统计热力学中把熵简单地定义为著名的“玻尔兹曼常数”乘上与宏观状态相容的微观状态的个数之对数。与早先把熵和热量传递捆绑在一起的做法不尽相同，玻尔兹曼把熵看成是无序分子运动紊乱程度的一种度量。这种新观点，被杨振宁先生（1922-）十分推崇的美国物理学家、化学家和数学家威拉德 • 吉布斯（Josiah Willard Gibbs, 1839-1903）精雕细琢，成为统计力学理论发展史上的里程碑之一。1995年夏，在中国厦门大学召开的第十九届国际统计物理大会（东道主学者郝柏林（1934-2018）时任会议主席）上，笔者曾听到与会讲话的杨振宁先生建议大家读读二十世纪初吉布斯那本启迪灵感的名著《统计力学的基本原理》（Elementary Principles in Statistical Physics, 1902）。
链接：https://www.zhihu.com/question/22178202/answer/667876061
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
1
信息熵
对需要交流的人类而言，通讯犹如吃饭睡觉一样重要。就像人类不断探索水稻增产一样，不断改进通讯质量与速度的科学研究一直是全世界方兴未艾的事业。1948年，博士毕业后就在贝尔实验室里研究通讯技术的电子工程师克劳德 • 香农（Claude Shannon, 1916-2001）在《贝尔系统技术杂志》（Bell System Technology Journal）上分两期发表了他一生中也许是最有名的一篇论文：《通讯的数学理论》（A mathematical theory of communications,1948），引入了一条全新的思路，震撼了整个科学技术界，开启了现代信息论研究的先河。在这一伟大的贡献中，他引进的“信息熵”之一般概念举足轻重：它在数学上量化了通讯过程中“信息漏失”的统计本质，具有划时代的意义。
克劳德 • 香农（Claude Shannon, 1916-2001）
香农生于美国密歇根州，本科毕业于“美国大学之母”密歇根大学。他儿时崇拜的英雄人物是大名鼎鼎的、造福全人类的美国大发明家托马斯 • 爱迪生（Thomas Alva Edison, 1847-1931），后来他发现这位英雄是他家的一个远亲。二十岁本科毕业时，他拿回了电子工程和数学两张学士文凭。而他在密西根大学修课时接触到英国数学家和哲学家乔治 • 布尔（George Boole, 1815-1864）最有名的工作“布尔代数”，成就了他二十一岁在麻省理工学院完成的题为《中继及开关电路的符号分析》（Symbolic analysis of relay and switching circuits，1937）的硕士学位论文。有人说这是二十世纪甚至人类历史上最有价值的硕士论文，因为它用布尔代数的理论首次表明对付真假李逵的“符号逻辑”与对付电路开关的“0-1数字”具有一致性，从而论证了数字计算机和数字线路的逻辑设计之可能性。
香农最初并没有借用“熵”这个词汇来表达他关于信息传输中的“不确定性”的度量化。他甚至都不太知晓他所考虑的量与古典热力学熵之间的类似性。他想把它称为“information（信息）”，但又认为这个名词太过大众化，已被普通老百姓的日常话语用滥了。他又考虑过就用单词“uncertainty（不确定性）”，但它却更像抽象名词，缺乏量化的余地，确实难于定夺。终于有一天，他遇见了天才的数学家冯 • 诺依曼（John von Neumann, 1903-1957）。真是找对了人！冯·诺依曼马上告诉他：
就叫它熵吧，这有两个好理由。一是你的不确定性函数已在统计物理中用到过，在那里它就叫熵。第二个理由更重要：没人真正理解熵为何物，这就让你在任何时候都可能进能退，立于不败之地。