趣谈概率 | 信息熵的那些事：概率越低，信息量越大

大家好，我是@狂人先生，欢迎来到“每周读本书”，今天继续为你拆解《趣谈概率》，这是第五篇。

在上一篇，我们通过介绍“能量守恒定律”，明白了我们能够用的资源非常有限的，之所以可以一直用下去，并不是因为无穷大，而是消耗得少，也就是说是“低熵”。我们当今的生存法则，就是“有借有还，再借不难”。“熵”是一种有限的资源，当你跟别人交互的时候，就可以实现低熵。

“熵”这个词不仅仅表达于能量消耗上面，还可以用来表达获取信息的价值。这个就是今天我们要谈的话题“信息熵”。说起“信息”这个词，你是不是感觉特别熟悉呢？那我就问你了，到底什么是信息？新闻、音乐、收到的短信、图片等，这些都可以看作是信息，这一点是没毛病；但是，如果反过来说呢，信息就是新闻、音乐、短信、图片等吗？这就不一定了！这些都是信息传递的其中一个媒介，但并不代表它就是信息的全部。

那么，信息是否等于知识呢？我如果跟你说：“三角形的两边之和大于第三边”，这就是一个知识点，但这算不算信息？对于早就知道这个定理的人来说，对他而言就没有什么信息增量；对于很多文科生来说，他们知道这个知识也没什么意义；对于一个路人甲而言，可能连字都不认识，他也不知道你在说什么。所以，这条信息以上的人来说，没有任何价值。但是，当你正在做一道证明题，刚好就在一个点卡住了，有人告诉你“三角形两边之和大于第三边”，你恍然大悟，原来可以用这个定理啊！然后，这道证明题就迎刃而解了。因此，对你来说，这一个知识点才算是信息。所以说，信息并不一定等于知识，除非你正好正在用。

在吴军老师的《科技史纲》这本书中，讲到了人类文明发展的两大要素，包括能量和信息。没有能量，就做不出什么事情来，所以什么事情都不会发生；要是没有信息，做过的事情就没有人记录，那么做出来的事情又谈何有意义？信息论之父香农，在1948年就把“信息论”作为这一生研究的话题。香农给“信息”下了一个定义：信息就是对事物运动状态或者存在方式不确定性的描述。这是什么意思呢？首先信息就是为了解决不确定性的，其次就是这个内容，我们迫切需要获取的。

知道了什么是信息，那么什么是“信息熵”呢？就是指信息中包含的信息量。你还记得前一篇，我给你分享过的计算熵的公式吗？S=k*lnW。在香农提出的信息论中，数据多半都是以0和1来表示的，所有的信息都是0和1之间数据的组合，所以每一条信息，都是非0则1。如果是抛硬币，正反两面就是有两可能，所以它的信息量就是log2=1。那么，如果是掷骰子呢？一共有6个组合，你想要知道出现哪一面，需要的信息量就是(6*1/6)*log6=log6。抛硬币，每一面出现的概率是1/2，信息量是1；掷骰子，每一面出现的概率是1/6，信息量在2到3之间。由此我们可以看出，事情发生的概率越低，信息量越大。

接着我举个例子说明这个问题，请各位看以下几句话 ：

我在喝茶。

我跟老张在喝茶。

我跟老张在绍兴的一个茶艺馆喝茶。

我跟老张在绍兴的一个茶艺馆喝着普洱茶，这是老张从云南带过来的。

我跟老张在绍兴的一个茶艺馆喝着普洱茶，这是老张从云南带过来的，我们边喝茶边谈生意。

这句话里边，哪一句话包含的信息量最大？无需质疑，当然就是最后一句吧。但是，它发生能的概率是不是最低？一定要在特定的场景下，这件事情才会发生。相反，我们看第一句，其实我每天都喝茶，喝什么茶，跟谁喝茶并不重要，我也并没有提供这个信息，所以它的信息量很低，但是它发生的概率是最大的。所以，事情说得越具体，发生的概率越低，信息量就越大。

紧接着，我就得抛公式了，到底如何计算信息量呢？

我们把掷骰子的信息量代入计算一下，每一个骰子出现的概率是1/6，所以单个骰子的信息量是：(1/6）*log(1/6)；那么6个骰子的信息量总和，就是

知道了信息量的计算公式，我们能否计算出，一句话含有多大的信息量呢？同样意思的句子，到底是中文的信息量大，还是英文的信息量大呢？我们不算标点符号，就只看英语的26个字母，每个字母对应的信息量是(log26)=4.7比特；汉字的数目太多了，我们通常使用2500个汉字，每个汉字的信息量大约是(log2500)=11.3比特。所以，一句话由多少个汉字组成，或者说由多少个英文字母组成，这个信息量有多少，自己算算便知。

到此为止，我们都知道了，信息就是为了应对不确定性的，不确定性的问题越多，信息量越大。相反，如果这个信息是一个常识，众人皆知的，这样的信息量就不大。同时，信息量的大小，跟事情发生的概率也有关系。如果一件事情发生的概率很大，比如说，老王每天早上9点都会到公司，晚上9点都会离开公司，这样人人皆知的，就没有什么信息量；但是，如果前一天晚上，老王应酬客户喝多了，第二天没有回公司，为什么没有回到公司呢？同事们不知道他是喝了酒，所以没有回公司的原因，信息量就很大。所以说，信息量的大小，取决于事情发生的概率。

好了，今天就先聊到这里，那么信息的传递会不会有偏差，到底偏差是什么原因导致的这个话题，我们下次再聊。我是@狂人先生，感谢你的关注与支持，我们下一篇不见不散。