什么是信息(信息量是多少?什么是信息熵?)



信息信息是用来消除随机不确定性的东西。换句话说,衡量信息量取决于这些信息消除不确定性的程度。克劳德香农被称为“信息论之父”。也许是他一生中最著名的论文:《通讯的数学理论》(交往的数学理论,1948),介绍

信息信息是用来消除随机不确定性的东西。换句话说,衡量信息量取决于这些信息消除不确定性的程度。

克劳德香农被称为“信息论之父”。他或许是他一生中最著名的一篇论文:《通讯的数学理论》(《通信的一个数学理论》,1948),它引入了一个全新的理念,震惊了整个科技领域,开启了现代信息论的研究。在这一伟大贡献中,他引入的“信息熵”这一广义概念发挥了重要作用:它从数学上量化了通信过程中“信息泄露”的统计本质,具有划时代的意义。

信息量与事件发生的概率成反比。

信息量的表示:

x代表一个事件;

p代表该事件的先验概率;先验概率是指根据常识和一般规律,该事件发生的概率。

信息熵可以看作是信息杂波的定量描述。

信息熵公式如下:

其中x可以看作一个向量,即这个可能性的信息量的几x倍所产生的概率p(x)-logp(x),然后把项相加。

信息量衡量的是某一特定事件带来的信息,而熵是在结果出来之前可能产生的信息量的期望——考虑随机变量的所有可能值,即所有可能事件带来的信息量的期望。

信息熵也可以用来衡量一个系统的复杂性。如果系统比较复杂,不同情况的种类比较多,那么它的信息熵就比较大。

如果一个系统比较简单,那么有几种情况(如果极端情况是一种情况,那么对应的概率为1,那么对应的信息熵为0),此时的信息熵很小。

摘要

当信息可能有N个案例时,如果每个案例的概率相等,那么N越大,信息熵越大。

当可能存在N种信息时,当N是一定的,且所有概率相等时,信息熵最大。

简言之,

信息越确定、越单一,信息熵越小。

信息越不确定,越混乱,信息熵越大。

您可能还会对下面的文章感兴趣: